Znalostní bázeCentrum zkoušek
CSČeština
Vybrat jazyk13

CKTIS / JavaScript

Kódové body Unicode a grafémové shluky

JavaScript měří délku řetězce v kódových jednotkách UTF-16, prochází jej po kódových bodech a hranice grafémových shluků zjišťuje pomocí `Intl.Segmenter`.

Verze: ECMAScript 2024 and the current web platform; runtime support varies

Syntaxe

text.length
text[i]
[...text]
new Intl.Segmenter(locale, { granularity: "grapheme" }).segment(text)

Kódový bod Unicode je číselná hodnota, například U+0065 pro e. Ve správně utvořeném textu UTF-16 zabírá jedna skalární hodnota Unicode jednu nebo dvě 16bitové kódové jednotky. V JavaScriptu text.length počítá kódové jednotky a text[i] i text.slice() používají indexy v těchto jednotkách. Řez na takovém indexu může rozdělit náhradní pár.

[...text] a for...of používají iterátor řetězce. Ten zachovává platné náhradní páry, vrací nespárovanou náhradní jednotku jako samostatnou položku a neseskupuje kódové body do grafémových shluků. Grafémový shluk je posloupnost jednoho nebo více kódových bodů, která přibližně odpovídá tomu, co uživatel vnímá jako jeden znak. Například e následované kombinační čárkou U+0301 tvoří jeden shluk.

Chceš-li počítat vnímané znaky nebo zkrátit text bez rozdělení shluku, použij Intl.Segmenter s volbou { granularity: "grapheme" }. Metoda segment(text) vrací iterovatelný objekt, jehož položky obsahují mimo jiné text segment a jeho počáteční index v kódových jednotkách UTF-16, počítaný od nuly. Tento index lze přímo předat metodě slice().

Ověř dostupnost Intl.Segmenter v cílovém běhovém prostředí. Hranice se mohou lišit podle implementace a jazykového a regionálního nastavení. Pokud API není k dispozici, nenahrazuj segmentaci na grafémové shluky průchodem po kódových bodech: jde o odlišné operace.

Příklady

{
  if (typeof globalThis.Intl?.Segmenter !== "function") {
    throw new Error("Intl.Segmenter is required for this example.");
  }

  const text = "e\u0301\u{1F600}";
  const segmenter = new Intl.Segmenter("en", { granularity: "grapheme" });
  const graphemes = [...segmenter.segment(text)];

  console.log(`UTF-16 code units: ${text.length}`);
  console.log(`Code points: ${[...text].length}`);
  console.log(`Grapheme clusters: ${graphemes.length}`);
  console.log(`Segment start offsets: ${graphemes.map(({ index }) => index).join(", ")}`);
}

Výsledek

UTF-16 code units: 4
Code points: 3
Grapheme clusters: 2
Segment start offsets: 0, 2

`e` a kombinační čárka tvoří první shluk. Emoji tvoří druhý, začíná na indexu `2` a zabírá dvě kódové jednotky. Očekávané počty jsou 4 kódové jednotky, 3 kódové body a 2 shluky.

Související lekce

  • JavaScript · Lekce 15 · Pokročilá · Verze: 4

Zdroje