CKTIS / JavaScript
Kódové body Unicode a grafémové shluky
JavaScript měří délku řetězce v kódových jednotkách UTF-16, prochází jej po kódových bodech a hranice grafémových shluků zjišťuje pomocí `Intl.Segmenter`.
Verze: ECMAScript 2024 and the current web platform; runtime support varies
Syntaxe
text.length
text[i]
[...text]
new Intl.Segmenter(locale, { granularity: "grapheme" }).segment(text)Kódový bod Unicode je číselná hodnota, například U+0065 pro e. Ve správně utvořeném textu UTF-16 zabírá jedna skalární hodnota Unicode jednu nebo dvě 16bitové kódové jednotky. V JavaScriptu text.length počítá kódové jednotky a text[i] i text.slice() používají indexy v těchto jednotkách. Řez na takovém indexu může rozdělit náhradní pár.
[...text] a for...of používají iterátor řetězce. Ten zachovává platné náhradní páry, vrací nespárovanou náhradní jednotku jako samostatnou položku a neseskupuje kódové body do grafémových shluků. Grafémový shluk je posloupnost jednoho nebo více kódových bodů, která přibližně odpovídá tomu, co uživatel vnímá jako jeden znak. Například e následované kombinační čárkou U+0301 tvoří jeden shluk.
Chceš-li počítat vnímané znaky nebo zkrátit text bez rozdělení shluku, použij Intl.Segmenter s volbou { granularity: "grapheme" }. Metoda segment(text) vrací iterovatelný objekt, jehož položky obsahují mimo jiné text segment a jeho počáteční index v kódových jednotkách UTF-16, počítaný od nuly. Tento index lze přímo předat metodě slice().
Ověř dostupnost Intl.Segmenter v cílovém běhovém prostředí. Hranice se mohou lišit podle implementace a jazykového a regionálního nastavení. Pokud API není k dispozici, nenahrazuj segmentaci na grafémové shluky průchodem po kódových bodech: jde o odlišné operace.
Příklady
{
if (typeof globalThis.Intl?.Segmenter !== "function") {
throw new Error("Intl.Segmenter is required for this example.");
}
const text = "e\u0301\u{1F600}";
const segmenter = new Intl.Segmenter("en", { granularity: "grapheme" });
const graphemes = [...segmenter.segment(text)];
console.log(`UTF-16 code units: ${text.length}`);
console.log(`Code points: ${[...text].length}`);
console.log(`Grapheme clusters: ${graphemes.length}`);
console.log(`Segment start offsets: ${graphemes.map(({ index }) => index).join(", ")}`);
}Výsledek
UTF-16 code units: 4 Code points: 3 Grapheme clusters: 2 Segment start offsets: 0, 2
`e` a kombinační čárka tvoří první shluk. Emoji tvoří druhý, začíná na indexu `2` a zabírá dvě kódové jednotky. Očekávané počty jsou 4 kódové jednotky, 3 kódové body a 2 shluky.
Související lekce
- JavaScript · Lekce 15 · Pokročilá · Verze: 4
Zdroje
- ECMAScript 2024 Language Specification — The String Type
- ECMAScript 2024 Language Specification — String.prototype [ @@iterator ]
- ECMAScript 2024 Internationalization API Specification — Intl.Segmenter.prototype.segment
- ECMAScript 2024 Internationalization API Specification — CreateSegmentDataObject
- ECMAScript 2024 Internationalization API Specification — FindBoundary
- MDN — Intl.Segmenter