CKTIS / JavaScript
Jednostki kodowe UTF-16 i pary surogatów
W JavaScript `length` liczy jednostki kodowe UTF-16, a nie punkty kodowe Unicode ani znaki postrzegane przez użytkownika. Ta różnica ma znaczenie przy indeksowaniu, wycinaniu fragmentów i iteracji po tekście.
Wersja: ECMAScript 2024 and the current web platform; runtime support varies
Składnia
s.length; s[i]; s.slice(start, end); s.charCodeAt(i); s.codePointAt(i); [...s]; s.isWellFormed(); s.toWellFormed(); new Intl.Segmenter(undefined, { granularity: "grapheme" }).segment(s)W ECMAScript 2024 wartość typu String jest sekwencją 16-bitowych jednostek kodowych. W poprawnym UTF-16 wartość skalarna Unicode od U+0000 do U+FFFF (z wyłączeniem U+D800–U+DFFF) zajmuje jedną jednostkę. Wartość od U+10000 do U+10FFFF zajmuje dwie: surogat wysoki (0xD800–0xDBFF), bezpośrednio po nim surogat niski (0xDC00–0xDFFF). Para koduje jeden punkt kodowy.
s.length liczy jednostki kodowe. s[i], s.slice(start, end) i s.charCodeAt(i) również używają indeksów jednostek kodowych liczonych od zera. Dla indeksu w zakresie s[i] zwraca napis zawierający jedną jednostkę kodową, a poza zakresem zwykle zwraca undefined. slice wycina fragment bez pozycji end i może rozdzielić parę, a charCodeAt zwraca wartość liczbową jednostki (poza zakresem: NaN). s.codePointAt(i) używa tego samego rodzaju indeksu: na początku pary zwraca wartość pełnego punktu kodowego, w pozostałych przypadkach wartość pojedynczej jednostki, także gdy indeks wskazuje drugą połowę pary. Poza zakresem zwraca undefined.
for...of i [...s] korzystają z iteratora napisu: zwracają napisy zawierające całą prawidłową parę lub jedną jednostkę, w tym osamotniony surogat. Iteracja nie wyznacza klastrów grafemowych, które przybliżają znaki postrzegane przez użytkownika. Na przykład e i następujący po nim łączący akcent ostry to dwa punkty kodowe, ale jeden klaster grafemowy. Aby dzielić tekst na grafemy, użyj Intl.Segmenter z granularity: "grapheme", jeśli środowisko go obsługuje.
JavaScript dopuszcza osamotnione surogaty w napisach. s.isWellFormed() zwraca false, jeśli napis zawiera choć jeden taki surogat. s.toWellFormed() zwraca napis, w którym każdy z nich zastąpiono znakiem U+FFFD, bez zmiany oryginału. Jeśli wymagane jest poprawne UTF-16, zdecyduj, czy odrzucić dane wejściowe, czy je naprawić: zastąpienie oznacza utratę informacji. Sprawdź dostępność tych metod w docelowym środowisku.
Przykłady
{
const s = "A\u{1F600}e\u0301";
const hex = n => n.toString(16).toUpperCase();
console.log(`length=${s.length}; iterator=${[...s].length}`);
console.log(`units=${hex(s.charCodeAt(1))} ${hex(s.charCodeAt(2))}`);
console.log(`codePointAt(1)=${hex(s.codePointAt(1))}; codePointAt(2)=${hex(s.codePointAt(2))}`);
console.log(`slice(1, 2) is lone high surrogate: ${s.slice(1, 2) === "\uD83D"}`);
}Wynik
length=5; iterator=4 units=D83D DE00 codePointAt(1)=1F600; codePointAt(2)=DE00 slice(1, 2) is lone high surrogate: true
Napis ma pięć jednostek kodowych i cztery elementy iteratora. Indeksy `1` i `2` wskazują dwie połowy emoji; `slice(1, 2)` zachowuje tylko surogat wysoki.
Powiązane lekcje
- JavaScript · Lekcja 2 · Zaawansowany · Wersja: 4