CKTIS / JavaScript
Jednostki kodowe UTF-16, pary surogatów i normalizacja Unicode
Odróżnij jednostki kodowe, punkty kodowe i klastry grafemów. Sprawdź poprawność UTF-16 i dobierz formę normalizacji do reguł porównywania tekstu.
Wersja: ECMAScript 2024 and the current web platform; runtime support varies
Składnia
s.length
s[i]
s.slice(start, end)
s.charCodeAt(i)
s.codePointAt(i);
[...s]
s.isWellFormed()
s.toWellFormed()
s.normalize()
s.normalize(form) // "NFC", "NFD", "NFKC", or "NFKD"
a.normalize("NFC") === b.normalize("NFC")
new Intl.Segmenter(undefined, { granularity: "grapheme" }).segment(s)Łańcuch JavaScript to sekwencja 16-bitowych jednostek kodowych UTF-16. length podaje liczbę jednostek kodowych, a s[i] i slice() używają indeksów tych jednostek. Żadna z tych operacji nie odnosi się do bajtów ani znaków postrzeganych przez użytkownika. Punkty kodowe od U+10000 do U+10FFFF wymagają pary surogatów: najpierw wysokiego (0xD800–0xDBFF), potem niskiego (0xDC00–0xDFFF). slice() może przeciąć taką parę.
charCodeAt(i) zwraca wartość jednej jednostki, a codePointAt(i) odczytuje całą parę tylko wtedy, gdy para zaczyna się pod indeksem i. W przeciwnym razie zwraca wartość pojedynczej jednostki, także w przypadku niskiego surogatu. Poza zakresem metody zwracają odpowiednio NaN i undefined. for…of i [...s] nie rozdzielają poprawnych par, ale iterują po punktach kodowych, nie po klastrach grafemów. Do wydzielania klastrów, takich jak litera ze znakiem łączącym, użyj Intl.Segmenter z granularity: "grapheme", jeśli środowisko go obsługuje.
Łańcuch może zawierać niesparowane surogaty. isWellFormed() je wykrywa, zwracając false, a toWellFormed() zwraca łańcuch, w którym każdy z nich zastąpiono przez U+FFFD. Te metody należą do ECMAScript 2024; sprawdź ich dostępność w środowisku docelowym. Naprawa jest stratna i nie jest normalizacją.
normalize() zwraca łańcuch bez modyfikowania oryginału. NFD stosuje rozkład kanoniczny, a NFC po takim rozkładzie ponownie składa sekwencje tam, gdzie to możliwe. NFKD stosuje rozkład zgodnościowy, a NFKC dodaje po nim składanie kanoniczne. Formy zgodnościowe mogą zatrzeć istotne różnice, np. między ligaturą ff a ff. Pominięcie argumentu lub podanie undefined wybiera NFC; nierozpoznana nazwa formy powoduje RangeError.
=== porównuje sekwencje jednostek kodowych bez normalizacji. Aby uznać formy kanonicznie równoważne za równe, znormalizuj oba łańcuchy do NFC przed porównaniem. Normalizacja może zmienić długość i indeksy; sama nie zapewnia porównania bez rozróżniania wielkości liter ani ochrony przed podszywaniem się za pomocą podobnych znaków.
Przykłady
{
const face = "\u{1F600}";
const lone = face.slice(0, 1);
const composed = "\u00E9";
const decomposed = "e\u0301";
console.log(`${face.length} ${[...face].length}`);
console.log(`${face.charCodeAt(0).toString(16)} ${face.codePointAt(0).toString(16)} ${face.codePointAt(1).toString(16)}`);
console.log(`${lone.isWellFormed()} ${lone.toWellFormed().codePointAt(0).toString(16)}`);
console.log(`${composed.length} ${decomposed.length} ${composed === decomposed} ${composed.normalize() === decomposed.normalize()}`);
console.log(`${"\uFB00".normalize("NFC") === "ff"} ${"\uFB00".normalize("NFKC") === "ff"}`);
}Wynik
2 1 d83d 1f600 de00 false fffd 1 2 false true false true
Pierwsze dwa wiersze pokazują emoji złożone z dwóch jednostek kodowych, ale jednego punktu kodowego. Trzeci pokazuje naprawę przeciętej pary. Czwarty porównuje dwa zapisy `é`, a piąty odróżnia normalizację kanoniczną od zgodnościowej.
Powiązane lekcje
- JavaScript · Lekcja 3 · Zaawansowany · Wersja: 4
Źródła
- ECMAScript 2024 §6.1.4 — The String Type
- ECMAScript 2024 §22.1.3.3 — String.prototype.charCodeAt
- ECMAScript 2024 §22.1.3.4 — String.prototype.codePointAt
- ECMAScript 2024 §22.1.3.10 — String.prototype.isWellFormed
- ECMAScript 2024 §22.1.3.15 — String.prototype.normalize
- ECMAScript 2024 §22.1.3.31 — String.prototype.toWellFormed
- ECMAScript 2024 §22.1.3.36 — String.prototype [ @@iterator ]
- ECMAScript 2024 Internationalization API Specification §18 — Segmenter Objects