Baza wiedzyCentrum egzaminacyjne
PLPolski
Wybierz język13

CKTIS / JavaScript

Łańcuchy tekstowe: UTF-16, punkty kodowe i grafemy

String w JavaScript jest niemutowalnym ciągiem jednostek kodowych UTF-16. Poznaj różnicę między jednostką kodową, punktem kodowym i grafemem oraz znaczenie normalizacji przy porównywaniu tekstu.

Wersja: ECMAScript and Web APIs; exact feature edition and browser support reviewed per entry; Node 24 in repository does not prove browser API support

Składnia

text.length; text[index]; [...text]; text.normalize("NFC"); new Intl.Segmenter("en", { granularity: "grapheme" }).segment(text)

Wartość string jest niemutowalna: operacje tekstowe nie zmieniają istniejącej wartości. length i indeksowanie text[index] odnoszą się do 16-bitowych jednostek kodowych UTF-16, nie do znaków widzianych przez użytkownika. Punkt kodowy spoza podstawowej płaszczyzny Unicode, np. 😀, zajmuje parę surogatów, czyli dwie jednostki. Łańcuch może też zawierać samotny surogat, więc nie musi być poprawnym tekstem UTF-16.

Iterator łańcucha, używany przez for...of i [...text], zachowuje poprawne pary surogatów i przechodzi po punktach kodowych. To nadal nie jest liczenie grafemów: grafem przybliża pojedynczy znak postrzegany przez użytkownika i może obejmować kilka punktów kodowych, np. literę z łączącym akcentem. split("") rozdziela jednostki kodowe, a nie grafemy. Do segmentacji grafemów służy Intl.Segmenter z { granularity: "grapheme" }, określony w ECMA-402; przed użyciem sprawdź jego dostępność w docelowym środowisku. Wersja Node w repozytorium nie dowodzi obsługi w przeglądarce.

=== porównuje sekwencje jednostek kodowych bez automatycznej normalizacji. Dlatego "\u00E9" i "e\u0301" nie są równe, choć są kanonicznie równoważne. normalize("NFC") pozwala porównać je po normalizacji kanonicznej. Dostępne są też NFD, NFKC i NFKD; formy zgodności mogą usuwać rozróżnienia istotne dla aplikacji. Normalizacja nie zastępuje segmentacji grafemów ani porównywania bez uwzględniania wielkości liter.

Przykład wymaga ECMAScript 2015: korzysta z iteratora łańcucha, składni spread i normalize. Tekst zawiera cztery jednostki kodowe, trzy punkty kodowe i dwa grafemy. Przykład nie wymaga Intl.Segmenter ani interfejsów Web API.

Identyfikatory objęte tym wpisem: UTF-16, code points, graphemes and normalization.

Przykłady

const text = "\u{1F600}e\u0301";
const composed = "\u00E9";
const decomposed = "e\u0301";

console.log(text.length);
console.log([...text].length);
console.log(composed === decomposed);
console.log(composed.normalize("NFC") === decomposed.normalize("NFC"));

Wynik

4
3
false
true

Wyświetlony kod i zadeklarowany wynik zweryfikowano w odizolowanym środowisku metodą zapisaną w dowodzie weryfikacji tej dokładnej wersji.

Źródła