База знанияИзпитен център
BGБългарски
Избери език13

CKTIS / JavaScript

Низове: UTF-16, кодови точки и графеми

Низът в JavaScript е неизменяема последователност от UTF-16 кодови единици. Научете как се различават кодовите единици, кодовите точки и графемите и защо нормализацията е важна при сравняване на текст.

Версия: ECMAScript and Web APIs; exact feature edition and browser support reviewed per entry; Node 24 in repository does not prove browser API support

Синтаксис

text.length; text[index]; [...text]; text.normalize("NFC"); new Intl.Segmenter("en", { granularity: "grapheme" }).segment(text)

Стойността string е неизменяема: текстовите операции не променят съществуваща стойност. length и индексирането чрез text[index] се отнасят до 16-битови UTF-16 кодови единици, а не до знаци, възприемани от потребителя. Кодова точка извън основната многоезична равнина на Unicode, например 😀, заема сурогатна двойка, тоест две кодови единици. Низът може да съдържа и самостоятелен сурогат, така че не е задължително да представлява правилно оформен UTF-16 текст.

Итераторът на низове, използван от for...of и [...text], запазва валидните сурогатни двойки и обхожда кодовите точки. Това все пак не брои графеми: графемата приблизително съответства на един знак, възприеман от потребителя, и може да съдържа няколко кодови точки, например буква, последвана от комбиниращо ударение. split("") разделя кодовите единици, а не графемите. За сегментиране на графеми използвайте Intl.Segmenter с { granularity: "grapheme" }, определен в ECMA-402; преди употреба проверете дали е наличен в целевата среда. Версията на Node в дадено хранилище не доказва поддръжка в браузърите.

=== сравнява последователностите от кодови единици без автоматична нормализация. Затова "\u00E9" и "e\u0301" не са равни, въпреки че са канонично еквивалентни. normalize("NFC") позволява сравняването им след канонична нормализация. Налични са и NFD, NFKC и NFKD; формите за съвместимост могат да премахнат различия, важни за дадено приложение. Нормализацията не заменя сегментирането на графеми или сравнението без отчитане на главни и малки букви.

Примерът изисква ECMAScript 2015: използва итератора на низове, spread синтаксис и normalize. Текстът съдържа четири кодови единици, три кодови точки и две графеми. Примерът не изисква Intl.Segmenter или Web API.

Референтни идентификатори, обхванати в тази статия: UTF-16, code points, graphemes and normalization.

Примери

const text = "\u{1F600}e\u0301";
const composed = "\u00E9";
const decomposed = "e\u0301";

console.log(text.length);
console.log([...text].length);
console.log(composed === decomposed);
console.log(composed.normalize("NFC") === decomposed.normalize("NFC"));

Резултат

4
3
false
true

Показаният код и заявеният резултат са проверени в изолирана среда по метода, записан в доказателството за проверка на тази точна версия.

Източници