CKTIS / JavaScript
Kodne jedinice UTF-16 i surogatni parovi
Duljina niza u JavaScriptu broji kodne jedinice UTF-16, a ne kodne točke Unicode ni znakove kako ih korisnik doživljava. Razlika je važna pri indeksiranju, izdvajanju i prolasku kroz tekst.
Verzija: ECMAScript 2024 and the current web platform; runtime support varies
Sintaksa
s.length; s[i]; s.slice(start, end); s.charCodeAt(i); s.codePointAt(i); [...s]; s.isWellFormed(); s.toWellFormed(); new Intl.Segmenter(undefined, { granularity: "grapheme" }).segment(s)U ECMAScriptu 2024 vrijednost tipa String slijed je 16-bitnih kodnih jedinica. U ispravno oblikovanom UTF-16 skalarna vrijednost Unicode od U+0000 do U+FFFF (osim U+D800–U+DFFF) zauzima jednu jedinicu. Vrijednost od U+10000 do U+10FFFF zauzima dvije: iza visokog surogata (0xD800–0xDBFF) odmah slijedi niski (0xDC00–0xDFFF). Par kodira jednu kodnu točku.
s.length broji kodne jedinice. s[i], s.slice(start, end) i s.charCodeAt(i) također upotrebljavaju indekse kodnih jedinica koji počinju od nule. Za indeks unutar raspona s[i] vraća niz s jednom kodnom jedinicom, a izvan raspona obično vraća undefined. slice ne uključuje položaj end i može razdvojiti par, a charCodeAt vraća brojčanu vrijednost jedinice (NaN izvan raspona). s.codePointAt(i) upotrebljava istu vrstu indeksa: na početku para vraća brojčanu vrijednost cijele kodne točke, inače vrijednost jedne jedinice, pa i na drugoj polovici para. Izvan raspona vraća undefined.
for...of i [...s] koriste iterator niza. On vraća svaki valjani par zajedno, a ostale jedinice zasebno, uključujući nesparene surogate. To nije segmentacija na grafemske skupine, koje približno odgovaraju znakovima kako ih korisnik doživljava. Primjerice, e iza kojeg slijedi kombinirajući akut čine dvije kodne točke, ali jednu grafemsku skupinu. Za segmentaciju prema grafemima upotrijebi Intl.Segmenter s granularity: "grapheme" ako ga okruženje podržava.
JavaScript dopušta nesparene surogate u nizovima. s.isWellFormed() vraća false ako je prisutan barem jedan. s.toWellFormed() vraća niz u kojem je svaki takav surogat zamijenjen znakom U+FFFD, bez promjene izvornog niza. Ako je potreban ispravno oblikovan UTF-16, odluči hoćeš li odbiti ili popraviti ulaz: zamjenom se gube informacije. Provjeri dostupnost tih metoda u ciljnom okruženju izvršavanja.
Primjeri
{
const s = "A\u{1F600}e\u0301";
const hex = n => n.toString(16).toUpperCase();
console.log(`length=${s.length}; iterator=${[...s].length}`);
console.log(`units=${hex(s.charCodeAt(1))} ${hex(s.charCodeAt(2))}`);
console.log(`codePointAt(1)=${hex(s.codePointAt(1))}; codePointAt(2)=${hex(s.codePointAt(2))}`);
console.log(`slice(1, 2) is lone high surrogate: ${s.slice(1, 2) === "\uD83D"}`);
}Rezultat
length=5; iterator=4 units=D83D DE00 codePointAt(1)=1F600; codePointAt(2)=DE00 slice(1, 2) is lone high surrogate: true
Niz sadrži pet kodnih jedinica, a iterator vraća četiri elementa. Indeksi `1` i `2` označavaju dvije polovice emojija; `slice(1, 2)` zadržava samo visoki surogat.
Povezane lekcije
- JavaScript · Lekcija 2 · Napredno · Verzija: 4