Baza wiedzyCentrum egzaminacyjne
PLPolski
Wybierz język13

CKTIS / JavaScript

Jednostki kodowe UTF-16, pary surogatów i normalizacja Unicode

Odróżnij jednostki kodowe, punkty kodowe i klastry grafemów. Sprawdź poprawność UTF-16 i dobierz formę normalizacji do reguł porównywania tekstu.

Wersja: ECMAScript 2024 and the current web platform; runtime support varies

Składnia

s.length
s[i]
s.slice(start, end)
s.charCodeAt(i)
s.codePointAt(i);
[...s]
s.isWellFormed()
s.toWellFormed()
s.normalize()
s.normalize(form) // "NFC", "NFD", "NFKC", or "NFKD"
a.normalize("NFC") === b.normalize("NFC")
new Intl.Segmenter(undefined, { granularity: "grapheme" }).segment(s)

Łańcuch JavaScript to sekwencja 16-bitowych jednostek kodowych UTF-16. length podaje liczbę jednostek kodowych, a s[i] i slice() używają indeksów tych jednostek. Żadna z tych operacji nie odnosi się do bajtów ani znaków postrzeganych przez użytkownika. Punkty kodowe od U+10000 do U+10FFFF wymagają pary surogatów: najpierw wysokiego (0xD800–0xDBFF), potem niskiego (0xDC00–0xDFFF). slice() może przeciąć taką parę.

charCodeAt(i) zwraca wartość jednej jednostki, a codePointAt(i) odczytuje całą parę tylko wtedy, gdy para zaczyna się pod indeksem i. W przeciwnym razie zwraca wartość pojedynczej jednostki, także w przypadku niskiego surogatu. Poza zakresem metody zwracają odpowiednio NaN i undefined. for…of i [...s] nie rozdzielają poprawnych par, ale iterują po punktach kodowych, nie po klastrach grafemów. Do wydzielania klastrów, takich jak litera ze znakiem łączącym, użyj Intl.Segmenter z granularity: "grapheme", jeśli środowisko go obsługuje.

Łańcuch może zawierać niesparowane surogaty. isWellFormed() je wykrywa, zwracając false, a toWellFormed() zwraca łańcuch, w którym każdy z nich zastąpiono przez U+FFFD. Te metody należą do ECMAScript 2024; sprawdź ich dostępność w środowisku docelowym. Naprawa jest stratna i nie jest normalizacją.

normalize() zwraca łańcuch bez modyfikowania oryginału. NFD stosuje rozkład kanoniczny, a NFC po takim rozkładzie ponownie składa sekwencje tam, gdzie to możliwe. NFKD stosuje rozkład zgodnościowy, a NFKC dodaje po nim składanie kanoniczne. Formy zgodnościowe mogą zatrzeć istotne różnice, np. między ligaturą ff a ff. Pominięcie argumentu lub podanie undefined wybiera NFC; nierozpoznana nazwa formy powoduje RangeError.

=== porównuje sekwencje jednostek kodowych bez normalizacji. Aby uznać formy kanonicznie równoważne za równe, znormalizuj oba łańcuchy do NFC przed porównaniem. Normalizacja może zmienić długość i indeksy; sama nie zapewnia porównania bez rozróżniania wielkości liter ani ochrony przed podszywaniem się za pomocą podobnych znaków.

Przykłady

{
  const face = "\u{1F600}";
  const lone = face.slice(0, 1);
  const composed = "\u00E9";
  const decomposed = "e\u0301";

  console.log(`${face.length} ${[...face].length}`);
  console.log(`${face.charCodeAt(0).toString(16)} ${face.codePointAt(0).toString(16)} ${face.codePointAt(1).toString(16)}`);
  console.log(`${lone.isWellFormed()} ${lone.toWellFormed().codePointAt(0).toString(16)}`);
  console.log(`${composed.length} ${decomposed.length} ${composed === decomposed} ${composed.normalize() === decomposed.normalize()}`);
  console.log(`${"\uFB00".normalize("NFC") === "ff"} ${"\uFB00".normalize("NFKC") === "ff"}`);
}

Wynik

2 1
d83d 1f600 de00
false fffd
1 2 false true
false true

Pierwsze dwa wiersze pokazują emoji złożone z dwóch jednostek kodowych, ale jednego punktu kodowego. Trzeci pokazuje naprawę przeciętej pary. Czwarty porównuje dwa zapisy `é`, a piąty odróżnia normalizację kanoniczną od zgodnościowej.

Powiązane lekcje

  • JavaScript · Lekcja 3 · Zaawansowany · Wersja: 4

Źródła