CKTIS / JavaScript
Unicode kodne točke i grafemski klasteri
JavaScript mjeri duljinu niza u kodnim jedinicama UTF-16, prolazi kroz njega po kodnim točkama i određuje granice grafemskih klastera pomoću `Intl.Segmenter`.
Verzija: ECMAScript 2024 and the current web platform; runtime support varies
Sintaksa
text.length
text[i]
[...text]
new Intl.Segmenter(locale, { granularity: "grapheme" }).segment(text)Unicode kodna točka brojčana je vrijednost, primjerice U+0065 za e. U ispravno oblikovanom tekstu UTF-16 jedna Unicode skalarna vrijednost zauzima jednu ili dvije 16-bitne kodne jedinice. U JavaScriptu text.length broji kodne jedinice, a text[i] i text.slice() koriste indekse u tim jedinicama. Rez na takvom indeksu može razdvojiti surogatni par.
[...text] i for...of koriste iterator niza. On čuva valjane surogatne parove, vraća nesparenu surogatnu jedinicu kao zaseban element i ne grupira kodne točke u grafemske klastere. Grafemski klaster niz je od jedne ili više kodnih točaka koji približno odgovara onome što korisnik doživljava kao jedan znak. Primjerice, e iza kojeg slijedi kombinirajući akut U+0301 tvori jedan klaster.
Za brojanje znakova kako ih korisnik doživljava ili skraćivanje teksta bez rezanja unutar klastera koristi Intl.Segmenter s opcijom { granularity: "grapheme" }. Metoda segment(text) vraća iterabilan objekt čiji elementi među ostalim sadržavaju tekst segment i njegov početni index, računat od nule u kodnim jedinicama UTF-16. Taj indeks možeš izravno proslijediti metodi slice().
Provjeri je li Intl.Segmenter dostupan u ciljnom okruženju za izvršavanje. Granice se mogu razlikovati ovisno o implementaciji i jezičnim i regionalnim postavkama. Ako API nije dostupan, nemoj zamijeniti segmentaciju na grafemske klastere iteriranjem po kodnim točkama: riječ je o različitim operacijama.
Primjeri
{
if (typeof globalThis.Intl?.Segmenter !== "function") {
throw new Error("Intl.Segmenter is required for this example.");
}
const text = "e\u0301\u{1F600}";
const segmenter = new Intl.Segmenter("en", { granularity: "grapheme" });
const graphemes = [...segmenter.segment(text)];
console.log(`UTF-16 code units: ${text.length}`);
console.log(`Code points: ${[...text].length}`);
console.log(`Grapheme clusters: ${graphemes.length}`);
console.log(`Segment start offsets: ${graphemes.map(({ index }) => index).join(", ")}`);
}Rezultat
UTF-16 code units: 4 Code points: 3 Grapheme clusters: 2 Segment start offsets: 0, 2
`e` i kombinirajući akut tvore prvi klaster. Emoji tvori drugi, počinje na indeksu `2` i zauzima dvije kodne jedinice. Očekuju se 4 kodne jedinice, 3 kodne točke i 2 klastera.
Povezane lekcije
- JavaScript · Lekcija 15 · Napredno · Verzija: 4
Izvori
- ECMAScript 2024 Language Specification — The String Type
- ECMAScript 2024 Language Specification — String.prototype [ @@iterator ]
- ECMAScript 2024 Internationalization API Specification — Intl.Segmenter.prototype.segment
- ECMAScript 2024 Internationalization API Specification — CreateSegmentDataObject
- ECMAScript 2024 Internationalization API Specification — FindBoundary
- MDN — Intl.Segmenter