CKTIS / JavaScript
Kodne enote UTF-16, nadomestni pari in normalizacija Unicode
Loči kodne enote, kodne točke in grafemske skupke. Preveri, ali je niz pravilno oblikovan v UTF-16, in izberi obliko normalizacije za primerjavo besedila.
Različica: ECMAScript 2024 and the current web platform; runtime support varies
Sintaksa
s.length
s[i]
s.slice(start, end)
s.charCodeAt(i)
s.codePointAt(i);
[...s]
s.isWellFormed()
s.toWellFormed()
s.normalize()
s.normalize(form) // "NFC", "NFD", "NFKC", or "NFKD"
a.normalize("NFC") === b.normalize("NFC")
new Intl.Segmenter(undefined, { granularity: "grapheme" }).segment(s)Niz v JavaScriptu je zaporedje 16-bitnih kodnih enot UTF-16. length, s[i] in slice() delujejo na kodnih enotah, ne na bajtih ali znakih, kot jih zaznava uporabnik. Kodne točke od U+10000 do U+10FFFF zahtevajo nadomestni par: visoki nadomestni enoti (0xD800–0xDBFF) neposredno sledi nizka (0xDC00–0xDFFF). slice() lahko par razdeli.
charCodeAt(i) vrne vrednost ene kodne enote. codePointAt(i) prebere celoten par le, če se ta začne na indeksu kodne enote i; sicer vrne vrednost posamezne enote, tudi če je to nizka nadomestna enota. Zunaj obsega metodi vrneta NaN oziroma undefined. for…of in [...s] veljavnih parov ne razdelita, vendar prehajata po kodnih točkah, ne po grafemskih skupkih. Za razčlenjevanje skupkov, kot je črka s kombinirnim znamenjem, uporabi Intl.Segmenter z granularity: "grapheme", če je na voljo.
Niz lahko vsebuje neparne nadomestne enote. isWellFormed() v tem primeru vrne false; toWellFormed() vrne niz, v katerem je vsaka nadomeščena z U+FFFD. Obe metodi sta del ECMAScripta 2024; preveri podporo v ciljnem okolju. Popravek povzroči izgubo podatkov in ni normalizacija.
normalize() vrne niz, ne da bi spremenil izvirnik. NFD izvede kanonično razčlenitev; NFC nato, kjer je mogoče, izvede kanonično sestavljanje. NFKD izvede združljivostno razčlenitev; NFKC nato doda kanonično sestavljanje. Združljivostne oblike lahko izbrišejo pomembne razlike, na primer med ligaturo ff in ff. Če argument izpustiš ali podaš undefined, se izbere NFC; neprepoznano ime oblike sproži RangeError.
=== primerja zaporedja kodnih enot brez normalizacije. Če želiš kanonično enakovredne oblike obravnavati kot enake, pred primerjavo oba niza normaliziraj v NFC. Normalizacija lahko spremeni dolžine in položaje; sama po sebi ne omogoča primerjave brez razlikovanja velikih in malih črk in ne ščiti pred zavajanjem s podobnimi znaki.
Primeri
{
const face = "\u{1F600}";
const lone = face.slice(0, 1);
const composed = "\u00E9";
const decomposed = "e\u0301";
console.log(`${face.length} ${[...face].length}`);
console.log(`${face.charCodeAt(0).toString(16)} ${face.codePointAt(0).toString(16)} ${face.codePointAt(1).toString(16)}`);
console.log(`${lone.isWellFormed()} ${lone.toWellFormed().codePointAt(0).toString(16)}`);
console.log(`${composed.length} ${decomposed.length} ${composed === decomposed} ${composed.normalize() === decomposed.normalize()}`);
console.log(`${"\uFB00".normalize("NFC") === "ff"} ${"\uFB00".normalize("NFKC") === "ff"}`);
}Rezultat
2 1 d83d 1f600 de00 false fffd 1 2 false true false true
Prvi dve vrstici prikažeta emoji z dvema kodnima enotama, a eno kodno točko. Tretja pokaže popravek po razdelitvi para. Četrta primerja dva zapisa `é`, peta pa loči kanonično od združljivostne normalizacije.
Povezane lekcije
- JavaScript · Lekcija 3 · Napredna · Različica: 4
Viri
- ECMAScript 2024 §6.1.4 — The String Type
- ECMAScript 2024 §22.1.3.3 — String.prototype.charCodeAt
- ECMAScript 2024 §22.1.3.4 — String.prototype.codePointAt
- ECMAScript 2024 §22.1.3.10 — String.prototype.isWellFormed
- ECMAScript 2024 §22.1.3.15 — String.prototype.normalize
- ECMAScript 2024 §22.1.3.31 — String.prototype.toWellFormed
- ECMAScript 2024 §22.1.3.36 — String.prototype [ @@iterator ]
- ECMAScript 2024 Internationalization API Specification §18 — Segmenter Objects