CKTIS / JavaScript
Kódové jednotky UTF-16 a zástupné páry
Délka řetězce v JavaScriptu udává počet kódových jednotek UTF-16, nikoli kódových bodů Unicode nebo znaků vnímaných uživatelem. Na rozdílu záleží při indexování, výřezu i procházení textu.
Verze: ECMAScript 2024 and the current web platform; runtime support varies
Syntaxe
s.length; s[i]; s.slice(start, end); s.charCodeAt(i); s.codePointAt(i); [...s]; s.isWellFormed(); s.toWellFormed(); new Intl.Segmenter(undefined, { granularity: "grapheme" }).segment(s)V ECMAScriptu 2024 je hodnota typu String posloupnost 16bitových kódových jednotek. V korektním UTF-16 zabírá skalární hodnota Unicode od U+0000 do U+FFFF (mimo U+D800–U+DFFF) jednu jednotku. Hodnota od U+10000 do U+10FFFF zabírá dvě: po horní zástupné jednotce (0xD800–0xDBFF) bezprostředně následuje dolní (0xDC00–0xDFFF). Tento pár kóduje jeden kódový bod.
s.length počítá kódové jednotky. s[i], s.slice(start, end) a s.charCodeAt(i) také používají indexy kódových jednotek od nuly. Pro index v rozsahu s[i] vrátí řetězec s jednou kódovou jednotkou, mimo rozsah obvykle vrátí undefined. slice nezahrnuje pozici end a může pár rozdělit, charCodeAt vrátí číselnou hodnotu jednotky (mimo rozsah NaN). s.codePointAt(i) používá stejný druh indexu: na začátku páru vrátí číselnou hodnotu celého kódového bodu, jinak hodnotu jediné jednotky, i když jde o druhou polovinu páru. Mimo rozsah vrátí undefined.
for...of a [...s] používají iterátor řetězce. Každý platný pár vrací pohromadě a ostatní jednotky jednotlivě, včetně nespárovaných zástupných jednotek. Nejde o dělení na grafémové shluky, které přibližně odpovídají znakům vnímaným uživatelem. Například e následované kombinující čárkou tvoří dva kódové body, ale jeden grafémový shluk. K dělení na grafémy použij Intl.Segmenter s granularity: "grapheme", pokud jej prostředí podporuje.
JavaScript připouští v řetězcích nespárované zástupné jednotky. s.isWellFormed() vrátí false, pokud je v řetězci alespoň jedna. s.toWellFormed() vrátí řetězec, ve kterém je každá taková jednotka nahrazena znakem U+FFFD, aniž by změnila původní řetězec. Pokud potřebuješ korektní UTF-16, rozhodni se, zda vstup odmítnout, nebo opravit: při nahrazení se ztrácí informace. Ověř dostupnost těchto metod v cílovém prostředí.
Příklady
{
const s = "A\u{1F600}e\u0301";
const hex = n => n.toString(16).toUpperCase();
console.log(`length=${s.length}; iterator=${[...s].length}`);
console.log(`units=${hex(s.charCodeAt(1))} ${hex(s.charCodeAt(2))}`);
console.log(`codePointAt(1)=${hex(s.codePointAt(1))}; codePointAt(2)=${hex(s.codePointAt(2))}`);
console.log(`slice(1, 2) is lone high surrogate: ${s.slice(1, 2) === "\uD83D"}`);
}Výsledek
length=5; iterator=4 units=D83D DE00 codePointAt(1)=1F600; codePointAt(2)=DE00 slice(1, 2) is lone high surrogate: true
Řetězec obsahuje pět kódových jednotek a iterátor vrací čtyři prvky. Indexy `1` a `2` označují obě poloviny emoji; `slice(1, 2)` ponechá jen horní zástupnou jednotku.
Související lekce
- JavaScript · Lekce 2 · Pokročilá · Verze: 4