CKTIS / JavaScript
Reťazce: UTF-16, kódové body a grafémy
Reťazec v JavaScripte je nemenná postupnosť kódových jednotiek UTF-16. Zistite, aký je rozdiel medzi kódovými jednotkami, kódovými bodmi a grafémami a prečo je normalizácia dôležitá pri porovnávaní textu.
Verzia: ECMAScript and Web APIs; exact feature edition and browser support reviewed per entry; Node 24 in repository does not prove browser API support
Syntax
text.length; text[index]; [...text]; text.normalize("NFC"); new Intl.Segmenter("en", { granularity: "grapheme" }).segment(text)Hodnota string je nemenná: textové operácie nemenia existujúcu hodnotu. length a indexovanie pomocou text[index] sa vzťahujú na 16-bitové kódové jednotky UTF-16, nie na znaky vnímané používateľom. Kódový bod mimo základnej viacjazyčnej roviny Unicode, napríklad 😀, zaberá pár surogátov, teda dve kódové jednotky. Reťazec môže obsahovať aj osamotený surogát, a preto nemusí byť správne utvoreným textom UTF-16.
Iterátor reťazca používaný v for...of a [...text] zachováva platné páry surogátov a prechádza kódové body. Ani tak však nepočíta grafémy: graféma približne zodpovedá jednému znaku vnímanému používateľom a môže obsahovať viacero kódových bodov, napríklad písmeno nasledované kombinujúcim prízvukom. split("") rozdeľuje kódové jednotky, nie grafémy. Na segmentáciu grafém použite Intl.Segmenter s { granularity: "grapheme" }, špecifikovaný v ECMA-402; pred použitím overte jeho dostupnosť v cieľovom prostredí. Verzia Node v repozitári nedokazuje podporu v prehliadačoch.
=== porovnáva postupnosti kódových jednotiek bez automatickej normalizácie. Preto "\u00E9" a "e\u0301" nie sú rovnaké, hoci sú kanonicky ekvivalentné. normalize("NFC") umožňuje porovnať ich po kanonickej normalizácii. Dostupné sú aj NFD, NFKC a NFKD; formy kompatibility môžu odstrániť rozdiely dôležité pre aplikáciu. Normalizácia nenahrádza segmentáciu grafém ani porovnávanie bez rozlišovania veľkých a malých písmen.
Príklad vyžaduje ECMAScript 2015: používa iterátor reťazca, syntax spread a normalize. Text obsahuje štyri kódové jednotky, tri kódové body a dve grafémy. Príklad nevyžaduje Intl.Segmenter ani Web API.
Referenčné identifikátory zahrnuté v tomto hesle: UTF-16, code points, graphemes and normalization.
Príklady
const text = "\u{1F600}e\u0301";
const composed = "\u00E9";
const decomposed = "e\u0301";
console.log(text.length);
console.log([...text].length);
console.log(composed === decomposed);
console.log(composed.normalize("NFC") === decomposed.normalize("NFC"));Výsledok
4 3 false true
Zobrazený kód a uvedený výsledok boli overené v izolovanom prostredí metódou zaznamenanou v dôkaze o overení tejto presnej verzie.