Znalostná bázaCentrum skúšok
SKSlovenčina
Vybrať jazyk13

CKTIS / JavaScript

Reťazce: UTF-16, kódové body a grafémy

Reťazec v JavaScripte je nemenná postupnosť kódových jednotiek UTF-16. Zistite, aký je rozdiel medzi kódovými jednotkami, kódovými bodmi a grafémami a prečo je normalizácia dôležitá pri porovnávaní textu.

Verzia: ECMAScript and Web APIs; exact feature edition and browser support reviewed per entry; Node 24 in repository does not prove browser API support

Syntax

text.length; text[index]; [...text]; text.normalize("NFC"); new Intl.Segmenter("en", { granularity: "grapheme" }).segment(text)

Hodnota string je nemenná: textové operácie nemenia existujúcu hodnotu. length a indexovanie pomocou text[index] sa vzťahujú na 16-bitové kódové jednotky UTF-16, nie na znaky vnímané používateľom. Kódový bod mimo základnej viacjazyčnej roviny Unicode, napríklad 😀, zaberá pár surogátov, teda dve kódové jednotky. Reťazec môže obsahovať aj osamotený surogát, a preto nemusí byť správne utvoreným textom UTF-16.

Iterátor reťazca používaný v for...of a [...text] zachováva platné páry surogátov a prechádza kódové body. Ani tak však nepočíta grafémy: graféma približne zodpovedá jednému znaku vnímanému používateľom a môže obsahovať viacero kódových bodov, napríklad písmeno nasledované kombinujúcim prízvukom. split("") rozdeľuje kódové jednotky, nie grafémy. Na segmentáciu grafém použite Intl.Segmenter s { granularity: "grapheme" }, špecifikovaný v ECMA-402; pred použitím overte jeho dostupnosť v cieľovom prostredí. Verzia Node v repozitári nedokazuje podporu v prehliadačoch.

=== porovnáva postupnosti kódových jednotiek bez automatickej normalizácie. Preto "\u00E9" a "e\u0301" nie sú rovnaké, hoci sú kanonicky ekvivalentné. normalize("NFC") umožňuje porovnať ich po kanonickej normalizácii. Dostupné sú aj NFD, NFKC a NFKD; formy kompatibility môžu odstrániť rozdiely dôležité pre aplikáciu. Normalizácia nenahrádza segmentáciu grafém ani porovnávanie bez rozlišovania veľkých a malých písmen.

Príklad vyžaduje ECMAScript 2015: používa iterátor reťazca, syntax spread a normalize. Text obsahuje štyri kódové jednotky, tri kódové body a dve grafémy. Príklad nevyžaduje Intl.Segmenter ani Web API.

Referenčné identifikátory zahrnuté v tomto hesle: UTF-16, code points, graphemes and normalization.

Príklady

const text = "\u{1F600}e\u0301";
const composed = "\u00E9";
const decomposed = "e\u0301";

console.log(text.length);
console.log([...text].length);
console.log(composed === decomposed);
console.log(composed.normalize("NFC") === decomposed.normalize("NFC"));

Výsledok

4
3
false
true

Zobrazený kód a uvedený výsledok boli overené v izolovanom prostredí metódou zaznamenanou v dôkaze o overení tejto presnej verzie.

Zdroje