CKTIS / JavaScript
Punkty kodowe Unicode a klastry grafemowe
JavaScript mierzy długość napisu w jednostkach kodowych UTF-16, iteruje po punktach kodowych, a granice klastrów grafemowych wyznacza za pomocą `Intl.Segmenter`.
Wersja: ECMAScript 2024 and the current web platform; runtime support varies
Składnia
text.length
text[i]
[...text]
new Intl.Segmenter(locale, { granularity: "grapheme" }).segment(text)Punkt kodowy Unicode to wartość liczbowa, np. U+0065 dla e. W poprawnie zakodowanym tekście UTF-16 jedna wartość skalarna Unicode zajmuje jedną lub dwie 16-bitowe jednostki kodowe. W JavaScript text.length liczy jednostki kodowe, a text[i] i text.slice() używają indeksów w tych jednostkach. Cięcie według takiego indeksu może rozdzielić parę surogatów.
[...text] i for...of korzystają z iteratora napisu. Iterator zachowuje poprawne pary surogatów, zwraca niesparowany surogat jako osobny element i nie grupuje punktów kodowych w klastry grafemowe. Klaster grafemowy to sekwencja jednego lub kilku punktów kodowych, która w przybliżeniu odpowiada znakowi postrzeganemu przez użytkownika. Na przykład e i następujący po nim akcent łączący U+0301 tworzą razem jeden klaster.
Aby liczyć znaki postrzegane przez użytkownika lub skracać tekst bez przecinania klastrów, użyj Intl.Segmenter z opcją { granularity: "grapheme" }. Metoda segment(text) zwraca obiekt iterowalny, którego elementy zawierają m.in. tekst segment i jego początkowy indeks index w jednostkach UTF-16, liczony od zera. Można go przekazać bezpośrednio do slice().
Sprawdź dostępność Intl.Segmenter w docelowym środowisku. Granice mogą się różnić zależnie od implementacji i ustawień regionalnych. Jeśli API jest niedostępne, nie zastępuj segmentacji iteracją po punktach kodowych: to inna operacja.
Przykłady
{
if (typeof globalThis.Intl?.Segmenter !== "function") {
throw new Error("Intl.Segmenter is required for this example.");
}
const text = "e\u0301\u{1F600}";
const segmenter = new Intl.Segmenter("en", { granularity: "grapheme" });
const graphemes = [...segmenter.segment(text)];
console.log(`UTF-16 code units: ${text.length}`);
console.log(`Code points: ${[...text].length}`);
console.log(`Grapheme clusters: ${graphemes.length}`);
console.log(`Segment start offsets: ${graphemes.map(({ index }) => index).join(", ")}`);
}Wynik
UTF-16 code units: 4 Code points: 3 Grapheme clusters: 2 Segment start offsets: 0, 2
`e` i akcent łączący tworzą pierwszy klaster. Emoji tworzy drugi, zaczyna się pod indeksem `2` i zajmuje dwie jednostki kodowe. Oczekiwane wyniki to 4 jednostki kodowe, 3 punkty kodowe i 2 klastry.
Powiązane lekcje
- JavaScript · Lekcja 15 · Zaawansowany · Wersja: 4
Źródła
- ECMAScript 2024 Language Specification — The String Type
- ECMAScript 2024 Language Specification — String.prototype [ @@iterator ]
- ECMAScript 2024 Internationalization API Specification — Intl.Segmenter.prototype.segment
- ECMAScript 2024 Internationalization API Specification — CreateSegmentDataObject
- ECMAScript 2024 Internationalization API Specification — FindBoundary
- MDN — Intl.Segmenter