CKTIS / JavaScript
Kodne točke Unicode in grafemski skupki
JavaScript meri dolžino niza v kodnih enotah UTF-16, ga prehaja po kodnih točkah in meje grafemskih skupkov določa z `Intl.Segmenter`.
Različica: ECMAScript 2024 and the current web platform; runtime support varies
Sintaksa
text.length
text[i]
[...text]
new Intl.Segmenter(locale, { granularity: "grapheme" }).segment(text)Kodna točka Unicode je številska vrednost, na primer U+0065 za e. V pravilno oblikovanem besedilu UTF-16 ena skalarna vrednost Unicode zasede eno ali dve 16-bitni kodni enoti. V JavaScriptu text.length šteje kodne enote, text[i] in text.slice() pa uporabljata indekse v teh enotah. Rez na takem indeksu lahko razdeli nadomestni par.
[...text] in for...of uporabljata iterator niza. Ta veljavne nadomestne pare ohrani skupaj, neparno nadomestno enoto vrne kot samostojen element in kodnih točk ne združuje v grafemske skupke. Grafemski skupek je zaporedje ene ali več kodnih točk, ki približno ustreza temu, kar uporabnik zazna kot en znak. Na primer, e in za njim kombinirajoči ostrivec U+0301 tvorita en skupek.
Za štetje zaznanih znakov ali krajšanje besedila brez reza znotraj skupka uporabi Intl.Segmenter z možnostjo { granularity: "grapheme" }. Metoda segment(text) vrne iterabilen objekt, katerega elementi med drugim vključujejo besedilo segment in njegov začetni index, štet od nič v kodnih enotah UTF-16. Ta indeks lahko neposredno podaš metodi slice().
Preveri, ali je Intl.Segmenter na voljo v ciljnem izvajalnem okolju. Meje se lahko razlikujejo glede na implementacijo in jezikovne ter območne nastavitve. Če API ni na voljo, segmentacije na grafemske skupke ne nadomeščaj z iteracijo po kodnih točkah: gre za različni operaciji.
Primeri
{
if (typeof globalThis.Intl?.Segmenter !== "function") {
throw new Error("Intl.Segmenter is required for this example.");
}
const text = "e\u0301\u{1F600}";
const segmenter = new Intl.Segmenter("en", { granularity: "grapheme" });
const graphemes = [...segmenter.segment(text)];
console.log(`UTF-16 code units: ${text.length}`);
console.log(`Code points: ${[...text].length}`);
console.log(`Grapheme clusters: ${graphemes.length}`);
console.log(`Segment start offsets: ${graphemes.map(({ index }) => index).join(", ")}`);
}Rezultat
UTF-16 code units: 4 Code points: 3 Grapheme clusters: 2 Segment start offsets: 0, 2
`e` in kombinirajoči ostrivec tvorita prvi skupek. Emoji tvori drugega, začne se pri indeksu `2` in zasede dve kodni enoti. Pričakovani rezultati so 4 kodne enote, 3 kodne točke in 2 skupka.
Povezane lekcije
- JavaScript · Lekcija 15 · Napredna · Različica: 4
Viri
- ECMAScript 2024 Language Specification — The String Type
- ECMAScript 2024 Language Specification — String.prototype [ @@iterator ]
- ECMAScript 2024 Internationalization API Specification — Intl.Segmenter.prototype.segment
- ECMAScript 2024 Internationalization API Specification — CreateSegmentDataObject
- ECMAScript 2024 Internationalization API Specification — FindBoundary
- MDN — Intl.Segmenter