CKTIS / JavaScript
Kodne jedinice UTF-16, zamjenski parovi i normalizacija Unicodea
Razlikuj kodne jedinice, kodne točke i grafemske skupine. Provjeri je li niz ispravno oblikovan u UTF-16 i odaberi oblik normalizacije za usporedbu teksta.
Verzija: ECMAScript 2024 and the current web platform; runtime support varies
Sintaksa
s.length
s[i]
s.slice(start, end)
s.charCodeAt(i)
s.codePointAt(i);
[...s]
s.isWellFormed()
s.toWellFormed()
s.normalize()
s.normalize(form) // "NFC", "NFD", "NFKC", or "NFKD"
a.normalize("NFC") === b.normalize("NFC")
new Intl.Segmenter(undefined, { granularity: "grapheme" }).segment(s)Niz znakova u JavaScriptu slijed je 16-bitnih kodnih jedinica UTF-16. length, s[i] i slice() rade s kodnim jedinicama, a ne s bajtovima ili znakovima kako ih korisnik doživljava. Kodne točke od U+10000 do U+10FFFF zahtijevaju zamjenski par: iza visoke zamjenske jedinice (0xD800–0xDBFF) odmah slijedi niska (0xDC00–0xDFFF). slice() može razdvojiti taj par.
charCodeAt(i) vraća vrijednost jedne kodne jedinice. codePointAt(i) čita cijeli par samo ako počinje na indeksu kodne jedinice i; inače vraća vrijednost jedne jedinice, pa i one niske zamjenske. Izvan raspona te metode vraćaju NaN odnosno undefined. for…of i [...s] ne razdvajaju valjane parove, ali prolaze po kodnim točkama, a ne po grafemskim skupinama. Za razdvajanje na skupine poput slova s kombinirajućom oznakom koristi Intl.Segmenter s granularity: "grapheme", ako je dostupan.
Niz znakova može sadržavati nesparene zamjenske jedinice. isWellFormed() tada vraća false; toWellFormed() vraća niz u kojem je svaka zamijenjena znakom U+FFFD. Obje metode dio su ECMAScripta 2024; provjeri podršku u ciljnom okruženju. Popravkom se gube informacije i on nije normalizacija.
normalize() vraća niz bez izmjene izvornika. NFD provodi kanonsku dekompoziciju; NFC nakon nje provodi kanonsku kompoziciju gdje je to moguće. NFKD provodi kompatibilnu dekompoziciju; NFKC nakon nje dodaje kanonsku kompoziciju. Kompatibilni oblici mogu ukloniti bitne razlike, poput razlike između ligature ff i ff. Izostavljeni argument ili undefined odabire NFC; neprepoznat naziv oblika izaziva RangeError.
=== uspoređuje sljedove kodnih jedinica bez normalizacije. Da bi kanonski ekvivalentni oblici bili jednaki pri usporedbi, najprije normaliziraj oba niza u NFC. Normalizacija može promijeniti duljine i položaje; sama ne omogućuje usporedbu bez razlikovanja velikih i malih slova niti štiti od obmane znakovima slična izgleda.
Primjeri
{
const face = "\u{1F600}";
const lone = face.slice(0, 1);
const composed = "\u00E9";
const decomposed = "e\u0301";
console.log(`${face.length} ${[...face].length}`);
console.log(`${face.charCodeAt(0).toString(16)} ${face.codePointAt(0).toString(16)} ${face.codePointAt(1).toString(16)}`);
console.log(`${lone.isWellFormed()} ${lone.toWellFormed().codePointAt(0).toString(16)}`);
console.log(`${composed.length} ${decomposed.length} ${composed === decomposed} ${composed.normalize() === decomposed.normalize()}`);
console.log(`${"\uFB00".normalize("NFC") === "ff"} ${"\uFB00".normalize("NFKC") === "ff"}`);
}Rezultat
2 1 d83d 1f600 de00 false fffd 1 2 false true false true
Prva dva retka prikazuju emoji s dvjema kodnim jedinicama, ali jednom kodnom točkom. Treći prikazuje popravak nakon razdvajanja para. Četvrti uspoređuje dva zapisa znaka `é`, a peti razlikuje kanonsku od kompatibilne normalizacije.
Povezane lekcije
- JavaScript · Lekcija 3 · Napredno · Verzija: 4
Izvori
- ECMAScript 2024 §6.1.4 — The String Type
- ECMAScript 2024 §22.1.3.3 — String.prototype.charCodeAt
- ECMAScript 2024 §22.1.3.4 — String.prototype.codePointAt
- ECMAScript 2024 §22.1.3.10 — String.prototype.isWellFormed
- ECMAScript 2024 §22.1.3.15 — String.prototype.normalize
- ECMAScript 2024 §22.1.3.31 — String.prototype.toWellFormed
- ECMAScript 2024 §22.1.3.36 — String.prototype [ @@iterator ]
- ECMAScript 2024 Internationalization API Specification §18 — Segmenter Objects