Znalostná bázaCentrum skúšok
SKSlovenčina
Vybrať jazyk13

CKTIS / JavaScript

Kódové body Unicode a grafémové zhluky

JavaScript meria dĺžku reťazca v kódových jednotkách UTF-16, prechádza ním po kódových bodoch a hranice grafémových zhlukov určuje pomocou `Intl.Segmenter`.

Verzia: ECMAScript 2024 and the current web platform; runtime support varies

Syntax

text.length
text[i]
[...text]
new Intl.Segmenter(locale, { granularity: "grapheme" }).segment(text)

Kódový bod Unicode je číselná hodnota, napríklad U+0065 pre e. V správne utvorenom texte UTF-16 zaberá jedna skalárna hodnota Unicode jednu alebo dve 16-bitové kódové jednotky. V JavaScripte text.length počíta kódové jednotky a text[i] aj text.slice() používajú indexy v týchto jednotkách. Rez na takomto indexe môže rozdeliť náhradný pár.

[...text] a for...of používajú iterátor reťazca. Ten zachováva platné náhradné páry, vracia nespárovanú náhradnú jednotku ako samostatnú položku a nezoskupuje kódové body do grafémových zhlukov. Grafémový zhluk je postupnosť jedného alebo viacerých kódových bodov, ktorá približne zodpovedá tomu, čo používateľ vníma ako jeden znak. Napríklad e nasledované kombinačným dĺžňom U+0301 tvorí jeden zhluk.

Ak chceš počítať vnímané znaky alebo skrátiť text bez rozdelenia zhluku, použi Intl.Segmenter s voľbou { granularity: "grapheme" }. Metóda segment(text) vracia iterovateľný objekt, ktorého položky obsahujú okrem iného text segment a jeho začiatočný index v kódových jednotkách UTF-16, počítaný od nuly. Tento index môžeš priamo odovzdať metóde slice().

Over dostupnosť Intl.Segmenter v cieľovom prostredí vykonávania. Hranice sa môžu líšiť v závislosti od implementácie a jazykového a regionálneho nastavenia. Ak API nie je dostupné, nenahrádzaj segmentáciu na grafémové zhluky iteráciou po kódových bodoch: ide o odlišné operácie.

Príklady

{
  if (typeof globalThis.Intl?.Segmenter !== "function") {
    throw new Error("Intl.Segmenter is required for this example.");
  }

  const text = "e\u0301\u{1F600}";
  const segmenter = new Intl.Segmenter("en", { granularity: "grapheme" });
  const graphemes = [...segmenter.segment(text)];

  console.log(`UTF-16 code units: ${text.length}`);
  console.log(`Code points: ${[...text].length}`);
  console.log(`Grapheme clusters: ${graphemes.length}`);
  console.log(`Segment start offsets: ${graphemes.map(({ index }) => index).join(", ")}`);
}

Výsledok

UTF-16 code units: 4
Code points: 3
Grapheme clusters: 2
Segment start offsets: 0, 2

`e` a kombinačný dĺžeň tvoria prvý zhluk. Emoji tvorí druhý, začína na indexe `2` a zaberá dve kódové jednotky. Očakávané počty sú 4 kódové jednotky, 3 kódové body a 2 zhluky.

Súvisiace lekcie

  • JavaScript · Lekcia 15 · Pokročilá · Verzia: 4

Zdroje