Baza wiedzyCentrum egzaminacyjne
PLPolski
Wybierz język13

CKTIS / JavaScript

Punkty kodowe Unicode a klastry grafemowe

JavaScript mierzy długość napisu w jednostkach kodowych UTF-16, iteruje po punktach kodowych, a granice klastrów grafemowych wyznacza za pomocą `Intl.Segmenter`.

Wersja: ECMAScript 2024 and the current web platform; runtime support varies

Składnia

text.length
text[i]
[...text]
new Intl.Segmenter(locale, { granularity: "grapheme" }).segment(text)

Punkt kodowy Unicode to wartość liczbowa, np. U+0065 dla e. W poprawnie zakodowanym tekście UTF-16 jedna wartość skalarna Unicode zajmuje jedną lub dwie 16-bitowe jednostki kodowe. W JavaScript text.length liczy jednostki kodowe, a text[i] i text.slice() używają indeksów w tych jednostkach. Cięcie według takiego indeksu może rozdzielić parę surogatów.

[...text] i for...of korzystają z iteratora napisu. Iterator zachowuje poprawne pary surogatów, zwraca niesparowany surogat jako osobny element i nie grupuje punktów kodowych w klastry grafemowe. Klaster grafemowy to sekwencja jednego lub kilku punktów kodowych, która w przybliżeniu odpowiada znakowi postrzeganemu przez użytkownika. Na przykład e i następujący po nim akcent łączący U+0301 tworzą razem jeden klaster.

Aby liczyć znaki postrzegane przez użytkownika lub skracać tekst bez przecinania klastrów, użyj Intl.Segmenter z opcją { granularity: "grapheme" }. Metoda segment(text) zwraca obiekt iterowalny, którego elementy zawierają m.in. tekst segment i jego początkowy indeks index w jednostkach UTF-16, liczony od zera. Można go przekazać bezpośrednio do slice().

Sprawdź dostępność Intl.Segmenter w docelowym środowisku. Granice mogą się różnić zależnie od implementacji i ustawień regionalnych. Jeśli API jest niedostępne, nie zastępuj segmentacji iteracją po punktach kodowych: to inna operacja.

Przykłady

{
  if (typeof globalThis.Intl?.Segmenter !== "function") {
    throw new Error("Intl.Segmenter is required for this example.");
  }

  const text = "e\u0301\u{1F600}";
  const segmenter = new Intl.Segmenter("en", { granularity: "grapheme" });
  const graphemes = [...segmenter.segment(text)];

  console.log(`UTF-16 code units: ${text.length}`);
  console.log(`Code points: ${[...text].length}`);
  console.log(`Grapheme clusters: ${graphemes.length}`);
  console.log(`Segment start offsets: ${graphemes.map(({ index }) => index).join(", ")}`);
}

Wynik

UTF-16 code units: 4
Code points: 3
Grapheme clusters: 2
Segment start offsets: 0, 2

`e` i akcent łączący tworzą pierwszy klaster. Emoji tworzy drugi, zaczyna się pod indeksem `2` i zajmuje dwie jednostki kodowe. Oczekiwane wyniki to 4 jednostki kodowe, 3 punkty kodowe i 2 klastry.

Powiązane lekcje

  • JavaScript · Lekcja 15 · Zaawansowany · Wersja: 4

Źródła