Znalostná bázaCentrum skúšok
SKSlovenčina
Vybrať jazyk13

CKTIS / JavaScript

Kódové jednotky UTF-16, náhradné páry a normalizácia Unicode

Rozlišuj kódové jednotky, kódové body a grafémové zhluky. Over správnosť zápisu v UTF-16 a vyber formu normalizácie na porovnávanie textu.

Verzia: ECMAScript 2024 and the current web platform; runtime support varies

Syntax

s.length
s[i]
s.slice(start, end)
s.charCodeAt(i)
s.codePointAt(i);
[...s]
s.isWellFormed()
s.toWellFormed()
s.normalize()
s.normalize(form) // "NFC", "NFD", "NFKC", or "NFKD"
a.normalize("NFC") === b.normalize("NFC")
new Intl.Segmenter(undefined, { granularity: "grapheme" }).segment(s)

Reťazec v JavaScripte je postupnosť 16-bitových kódových jednotiek UTF-16. length, s[i] a slice() pracujú s jednotkami, nie s bajtmi ani so znakmi, ako ich vníma používateľ. Kódové body od U+10000 do U+10FFFF vyžadujú náhradný pár: za hornou náhradnou jednotkou (0xD800–0xDBFF) bezprostredne nasleduje dolná (0xDC00–0xDFFF). slice() môže pár rozdeliť.

charCodeAt(i) vracia hodnotu jednej kódovej jednotky. codePointAt(i) prečíta celý pár, len ak sa začína na indexe kódovej jednotky i; inak vráti hodnotu jednej jednotky, aj keď ide o dolnú náhradnú jednotku. Mimo rozsahu vracajú v uvedenom poradí NaN a undefined. for…of a [...s] zachovávajú platné páry pohromade, ale prechádzajú kódové body, nie grafémové zhluky. Na segmentáciu zhlukov, ako je písmeno s kombinačnou značkou, použi Intl.Segmenter s granularity: "grapheme", ak je dostupný.

Reťazec môže obsahovať nespárované náhradné jednotky. isWellFormed() vtedy vráti false; toWellFormed() vráti reťazec, v ktorom je každá z nich nahradená znakom U+FFFD. Obe metódy patria do ECMAScriptu 2024; over ich podporu v cieľovom prostredí. Pri oprave sa strácajú informácie a nejde o normalizáciu.

normalize() vracia reťazec bez zmeny pôvodného. NFD vykonáva kanonický rozklad; NFC po ňom vykonáva kanonické skladanie tam, kde je to možné. NFKD vykonáva kompatibilitný rozklad; NFKC po ňom pridáva kanonické skladanie. Kompatibilitné formy môžu odstrániť dôležité rozdiely, napríklad medzi ligatúrou ff a ff. Vynechanie argumentu alebo použitie undefined vyberie NFC; nerozpoznaný názov formy vyvolá RangeError.

=== porovnáva postupnosti kódových jednotiek bez normalizácie. Ak sa majú kanonicky ekvivalentné formy považovať za rovnaké, pred porovnaním normalizuj oba reťazce na NFC. Normalizácia môže zmeniť dĺžky a pozície; sama nezabezpečuje porovnávanie bez ohľadu na veľkosť písmen ani ochranu pred podvrhmi s podobne vyzerajúcimi znakmi.

Príklady

{
  const face = "\u{1F600}";
  const lone = face.slice(0, 1);
  const composed = "\u00E9";
  const decomposed = "e\u0301";

  console.log(`${face.length} ${[...face].length}`);
  console.log(`${face.charCodeAt(0).toString(16)} ${face.codePointAt(0).toString(16)} ${face.codePointAt(1).toString(16)}`);
  console.log(`${lone.isWellFormed()} ${lone.toWellFormed().codePointAt(0).toString(16)}`);
  console.log(`${composed.length} ${decomposed.length} ${composed === decomposed} ${composed.normalize() === decomposed.normalize()}`);
  console.log(`${"\uFB00".normalize("NFC") === "ff"} ${"\uFB00".normalize("NFKC") === "ff"}`);
}

Výsledok

2 1
d83d 1f600 de00
false fffd
1 2 false true
false true

Prvé dva riadky ukazujú emoji s dvoma kódovými jednotkami, ale jedným kódovým bodom. Tretí ukazuje opravu po rozdelení páru. Štvrtý porovnáva dva zápisy `é` a piaty odlišuje kanonickú normalizáciu od kompatibilitnej.

Súvisiace lekcie

  • JavaScript · Lekcia 3 · Pokročilá · Verzia: 4

Zdroje