Baza znanjaCentar za ispite
HRHrvatski
Odaberi jezik13

CKTIS / JavaScript

Unicode kodne točke i grafemski klasteri

JavaScript mjeri duljinu niza u kodnim jedinicama UTF-16, prolazi kroz njega po kodnim točkama i određuje granice grafemskih klastera pomoću `Intl.Segmenter`.

Verzija: ECMAScript 2024 and the current web platform; runtime support varies

Sintaksa

text.length
text[i]
[...text]
new Intl.Segmenter(locale, { granularity: "grapheme" }).segment(text)

Unicode kodna točka brojčana je vrijednost, primjerice U+0065 za e. U ispravno oblikovanom tekstu UTF-16 jedna Unicode skalarna vrijednost zauzima jednu ili dvije 16-bitne kodne jedinice. U JavaScriptu text.length broji kodne jedinice, a text[i] i text.slice() koriste indekse u tim jedinicama. Rez na takvom indeksu može razdvojiti surogatni par.

[...text] i for...of koriste iterator niza. On čuva valjane surogatne parove, vraća nesparenu surogatnu jedinicu kao zaseban element i ne grupira kodne točke u grafemske klastere. Grafemski klaster niz je od jedne ili više kodnih točaka koji približno odgovara onome što korisnik doživljava kao jedan znak. Primjerice, e iza kojeg slijedi kombinirajući akut U+0301 tvori jedan klaster.

Za brojanje znakova kako ih korisnik doživljava ili skraćivanje teksta bez rezanja unutar klastera koristi Intl.Segmenter s opcijom { granularity: "grapheme" }. Metoda segment(text) vraća iterabilan objekt čiji elementi među ostalim sadržavaju tekst segment i njegov početni index, računat od nule u kodnim jedinicama UTF-16. Taj indeks možeš izravno proslijediti metodi slice().

Provjeri je li Intl.Segmenter dostupan u ciljnom okruženju za izvršavanje. Granice se mogu razlikovati ovisno o implementaciji i jezičnim i regionalnim postavkama. Ako API nije dostupan, nemoj zamijeniti segmentaciju na grafemske klastere iteriranjem po kodnim točkama: riječ je o različitim operacijama.

Primjeri

{
  if (typeof globalThis.Intl?.Segmenter !== "function") {
    throw new Error("Intl.Segmenter is required for this example.");
  }

  const text = "e\u0301\u{1F600}";
  const segmenter = new Intl.Segmenter("en", { granularity: "grapheme" });
  const graphemes = [...segmenter.segment(text)];

  console.log(`UTF-16 code units: ${text.length}`);
  console.log(`Code points: ${[...text].length}`);
  console.log(`Grapheme clusters: ${graphemes.length}`);
  console.log(`Segment start offsets: ${graphemes.map(({ index }) => index).join(", ")}`);
}

Rezultat

UTF-16 code units: 4
Code points: 3
Grapheme clusters: 2
Segment start offsets: 0, 2

`e` i kombinirajući akut tvore prvi klaster. Emoji tvori drugi, počinje na indeksu `2` i zauzima dvije kodne jedinice. Očekuju se 4 kodne jedinice, 3 kodne točke i 2 klastera.

Povezane lekcije

  • JavaScript · Lekcija 15 · Napredno · Verzija: 4

Izvori