CKTIS / JavaScript
Kódové body Unicode a grafémové zhluky
JavaScript meria dĺžku reťazca v kódových jednotkách UTF-16, prechádza ním po kódových bodoch a hranice grafémových zhlukov určuje pomocou `Intl.Segmenter`.
Verzia: ECMAScript 2024 and the current web platform; runtime support varies
Syntax
text.length
text[i]
[...text]
new Intl.Segmenter(locale, { granularity: "grapheme" }).segment(text)Kódový bod Unicode je číselná hodnota, napríklad U+0065 pre e. V správne utvorenom texte UTF-16 zaberá jedna skalárna hodnota Unicode jednu alebo dve 16-bitové kódové jednotky. V JavaScripte text.length počíta kódové jednotky a text[i] aj text.slice() používajú indexy v týchto jednotkách. Rez na takomto indexe môže rozdeliť náhradný pár.
[...text] a for...of používajú iterátor reťazca. Ten zachováva platné náhradné páry, vracia nespárovanú náhradnú jednotku ako samostatnú položku a nezoskupuje kódové body do grafémových zhlukov. Grafémový zhluk je postupnosť jedného alebo viacerých kódových bodov, ktorá približne zodpovedá tomu, čo používateľ vníma ako jeden znak. Napríklad e nasledované kombinačným dĺžňom U+0301 tvorí jeden zhluk.
Ak chceš počítať vnímané znaky alebo skrátiť text bez rozdelenia zhluku, použi Intl.Segmenter s voľbou { granularity: "grapheme" }. Metóda segment(text) vracia iterovateľný objekt, ktorého položky obsahujú okrem iného text segment a jeho začiatočný index v kódových jednotkách UTF-16, počítaný od nuly. Tento index môžeš priamo odovzdať metóde slice().
Over dostupnosť Intl.Segmenter v cieľovom prostredí vykonávania. Hranice sa môžu líšiť v závislosti od implementácie a jazykového a regionálneho nastavenia. Ak API nie je dostupné, nenahrádzaj segmentáciu na grafémové zhluky iteráciou po kódových bodoch: ide o odlišné operácie.
Príklady
{
if (typeof globalThis.Intl?.Segmenter !== "function") {
throw new Error("Intl.Segmenter is required for this example.");
}
const text = "e\u0301\u{1F600}";
const segmenter = new Intl.Segmenter("en", { granularity: "grapheme" });
const graphemes = [...segmenter.segment(text)];
console.log(`UTF-16 code units: ${text.length}`);
console.log(`Code points: ${[...text].length}`);
console.log(`Grapheme clusters: ${graphemes.length}`);
console.log(`Segment start offsets: ${graphemes.map(({ index }) => index).join(", ")}`);
}Výsledok
UTF-16 code units: 4 Code points: 3 Grapheme clusters: 2 Segment start offsets: 0, 2
`e` a kombinačný dĺžeň tvoria prvý zhluk. Emoji tvorí druhý, začína na indexe `2` a zaberá dve kódové jednotky. Očakávané počty sú 4 kódové jednotky, 3 kódové body a 2 zhluky.
Súvisiace lekcie
- JavaScript · Lekcia 15 · Pokročilá · Verzia: 4
Zdroje
- ECMAScript 2024 Language Specification — The String Type
- ECMAScript 2024 Language Specification — String.prototype [ @@iterator ]
- ECMAScript 2024 Internationalization API Specification — Intl.Segmenter.prototype.segment
- ECMAScript 2024 Internationalization API Specification — CreateSegmentDataObject
- ECMAScript 2024 Internationalization API Specification — FindBoundary
- MDN — Intl.Segmenter