Znalostní bázeCentrum zkoušek
CSČeština
Vybrat jazyk13

CKTIS / JavaScript

Kódové jednotky UTF-16, zástupné páry a normalizace Unicode

Rozlišuj kódové jednotky, kódové body a grafémové shluky. Ověř, zda je řetězec korektně utvořený v UTF-16, a vyber formu normalizace pro porovnávání textu.

Verze: ECMAScript 2024 and the current web platform; runtime support varies

Syntaxe

s.length
s[i]
s.slice(start, end)
s.charCodeAt(i)
s.codePointAt(i);
[...s]
s.isWellFormed()
s.toWellFormed()
s.normalize()
s.normalize(form) // "NFC", "NFD", "NFKC", or "NFKD"
a.normalize("NFC") === b.normalize("NFC")
new Intl.Segmenter(undefined, { granularity: "grapheme" }).segment(s)

Řetězec v JavaScriptu je posloupnost 16bitových kódových jednotek UTF-16. length, s[i] a slice() pracují s kódovými jednotkami, ne s bajty ani se znaky, jak je vnímá uživatel. Kódové body od U+10000 do U+10FFFF vyžadují zástupný pár: po horní zástupné jednotce (0xD800–0xDBFF) ihned následuje dolní (0xDC00–0xDFFF). slice() může pár rozdělit.

charCodeAt(i) vrací hodnotu jedné kódové jednotky. codePointAt(i) přečte celý pár, jen pokud začíná na indexu kódové jednotky i; jinak vrátí hodnotu jediné jednotky, i kdyby šlo o dolní zástupnou jednotku. Mimo rozsah vracejí po řadě NaN a undefined. for…of a [...s] zachovávají platné páry pohromadě, ale procházejí kódové body, ne grafémové shluky. K dělení na shluky, jako je písmeno s kombinačním znaménkem, použij Intl.Segmenter s granularity: "grapheme", pokud je dostupný.

Řetězec může obsahovat nespárované zástupné jednotky. isWellFormed() v takovém případě vrací false; toWellFormed() vrací řetězec, v němž je každá nahrazena znakem U+FFFD. Obě metody patří do ECMAScriptu 2024; ověř jejich podporu v cílovém prostředí. Oprava je ztrátová a není to normalizace.

normalize() vrací řetězec beze změny původního. NFD provádí kanonický rozklad; NFC po něm tam, kde je to možné, provádí kanonické složení. NFKD provádí kompatibilní rozklad; NFKC po něm přidává kanonické složení. Kompatibilní formy mohou odstranit významné rozdíly, například mezi ligaturou ff a ff. Vynechání argumentu nebo předání undefined zvolí NFC; nerozpoznaný název formy vyvolá RangeError.

=== porovnává posloupnosti kódových jednotek bez normalizace. Mají-li se kanonicky ekvivalentní formy považovat za stejné, normalizuj oba řetězce na NFC před porovnáním. Normalizace může změnit délky a pozice; sama nezajistí porovnávání bez ohledu na velikost písmen ani ochranu proti podvrhům s podobně vypadajícími znaky.

Příklady

{
  const face = "\u{1F600}";
  const lone = face.slice(0, 1);
  const composed = "\u00E9";
  const decomposed = "e\u0301";

  console.log(`${face.length} ${[...face].length}`);
  console.log(`${face.charCodeAt(0).toString(16)} ${face.codePointAt(0).toString(16)} ${face.codePointAt(1).toString(16)}`);
  console.log(`${lone.isWellFormed()} ${lone.toWellFormed().codePointAt(0).toString(16)}`);
  console.log(`${composed.length} ${decomposed.length} ${composed === decomposed} ${composed.normalize() === decomposed.normalize()}`);
  console.log(`${"\uFB00".normalize("NFC") === "ff"} ${"\uFB00".normalize("NFKC") === "ff"}`);
}

Výsledek

2 1
d83d 1f600 de00
false fffd
1 2 false true
false true

První dva řádky ukazují emoji se dvěma kódovými jednotkami, ale jedním kódovým bodem. Třetí ukazuje opravu po rozdělení páru. Čtvrtý porovnává dva zápisy `é` a pátý odlišuje kanonickou normalizaci od kompatibilní.

Související lekce

  • JavaScript · Lekce 3 · Pokročilá · Verze: 4

Zdroje