CKTIS / JavaScript
Kódové jednotky UTF-16, náhradné páry a normalizácia Unicode
Rozlišuj kódové jednotky, kódové body a grafémové zhluky. Over správnosť zápisu v UTF-16 a vyber formu normalizácie na porovnávanie textu.
Verzia: ECMAScript 2024 and the current web platform; runtime support varies
Syntax
s.length
s[i]
s.slice(start, end)
s.charCodeAt(i)
s.codePointAt(i);
[...s]
s.isWellFormed()
s.toWellFormed()
s.normalize()
s.normalize(form) // "NFC", "NFD", "NFKC", or "NFKD"
a.normalize("NFC") === b.normalize("NFC")
new Intl.Segmenter(undefined, { granularity: "grapheme" }).segment(s)Reťazec v JavaScripte je postupnosť 16-bitových kódových jednotiek UTF-16. length, s[i] a slice() pracujú s jednotkami, nie s bajtmi ani so znakmi, ako ich vníma používateľ. Kódové body od U+10000 do U+10FFFF vyžadujú náhradný pár: za hornou náhradnou jednotkou (0xD800–0xDBFF) bezprostredne nasleduje dolná (0xDC00–0xDFFF). slice() môže pár rozdeliť.
charCodeAt(i) vracia hodnotu jednej kódovej jednotky. codePointAt(i) prečíta celý pár, len ak sa začína na indexe kódovej jednotky i; inak vráti hodnotu jednej jednotky, aj keď ide o dolnú náhradnú jednotku. Mimo rozsahu vracajú v uvedenom poradí NaN a undefined. for…of a [...s] zachovávajú platné páry pohromade, ale prechádzajú kódové body, nie grafémové zhluky. Na segmentáciu zhlukov, ako je písmeno s kombinačnou značkou, použi Intl.Segmenter s granularity: "grapheme", ak je dostupný.
Reťazec môže obsahovať nespárované náhradné jednotky. isWellFormed() vtedy vráti false; toWellFormed() vráti reťazec, v ktorom je každá z nich nahradená znakom U+FFFD. Obe metódy patria do ECMAScriptu 2024; over ich podporu v cieľovom prostredí. Pri oprave sa strácajú informácie a nejde o normalizáciu.
normalize() vracia reťazec bez zmeny pôvodného. NFD vykonáva kanonický rozklad; NFC po ňom vykonáva kanonické skladanie tam, kde je to možné. NFKD vykonáva kompatibilitný rozklad; NFKC po ňom pridáva kanonické skladanie. Kompatibilitné formy môžu odstrániť dôležité rozdiely, napríklad medzi ligatúrou ff a ff. Vynechanie argumentu alebo použitie undefined vyberie NFC; nerozpoznaný názov formy vyvolá RangeError.
=== porovnáva postupnosti kódových jednotiek bez normalizácie. Ak sa majú kanonicky ekvivalentné formy považovať za rovnaké, pred porovnaním normalizuj oba reťazce na NFC. Normalizácia môže zmeniť dĺžky a pozície; sama nezabezpečuje porovnávanie bez ohľadu na veľkosť písmen ani ochranu pred podvrhmi s podobne vyzerajúcimi znakmi.
Príklady
{
const face = "\u{1F600}";
const lone = face.slice(0, 1);
const composed = "\u00E9";
const decomposed = "e\u0301";
console.log(`${face.length} ${[...face].length}`);
console.log(`${face.charCodeAt(0).toString(16)} ${face.codePointAt(0).toString(16)} ${face.codePointAt(1).toString(16)}`);
console.log(`${lone.isWellFormed()} ${lone.toWellFormed().codePointAt(0).toString(16)}`);
console.log(`${composed.length} ${decomposed.length} ${composed === decomposed} ${composed.normalize() === decomposed.normalize()}`);
console.log(`${"\uFB00".normalize("NFC") === "ff"} ${"\uFB00".normalize("NFKC") === "ff"}`);
}Výsledok
2 1 d83d 1f600 de00 false fffd 1 2 false true false true
Prvé dva riadky ukazujú emoji s dvoma kódovými jednotkami, ale jedným kódovým bodom. Tretí ukazuje opravu po rozdelení páru. Štvrtý porovnáva dva zápisy `é` a piaty odlišuje kanonickú normalizáciu od kompatibilitnej.
Súvisiace lekcie
- JavaScript · Lekcia 3 · Pokročilá · Verzia: 4
Zdroje
- ECMAScript 2024 §6.1.4 — The String Type
- ECMAScript 2024 §22.1.3.3 — String.prototype.charCodeAt
- ECMAScript 2024 §22.1.3.4 — String.prototype.codePointAt
- ECMAScript 2024 §22.1.3.10 — String.prototype.isWellFormed
- ECMAScript 2024 §22.1.3.15 — String.prototype.normalize
- ECMAScript 2024 §22.1.3.31 — String.prototype.toWellFormed
- ECMAScript 2024 §22.1.3.36 — String.prototype [ @@iterator ]
- ECMAScript 2024 Internationalization API Specification §18 — Segmenter Objects