WissensdatenbankPrüfungszentrum
DEDeutsch
Sprache wählen13

CKTIS / JavaScript

Unicode-Codepunkte und Graphemcluster im Vergleich

JavaScript misst die Länge von Zeichenketten in UTF-16-Codeeinheiten, iteriert über Codepunkte und ermittelt Graphemgrenzen mit `Intl.Segmenter`.

Version: ECMAScript 2024 and the current web platform; runtime support varies

Syntax

text.length
text[i]
[...text]
new Intl.Segmenter(locale, { granularity: "grapheme" }).segment(text)

Ein Unicode-Codepunkt ist ein Zahlenwert, etwa U+0065 für e. In wohlgeformtem UTF-16-Text belegt ein Unicode-Skalarwert eine oder zwei 16-Bit-Codeeinheiten. In JavaScript zählt text.length die Codeeinheiten; text[i] und text.slice() verwenden Positionen in Codeeinheiten. Ein Schnitt an einer solchen Position kann ein Surrogatpaar trennen.

[...text] und for...of verwenden den Zeichenketteniterator. Er hält gültige Surrogatpaare zusammen, liefert ein einzelnes Surrogat ohne Partner separat und fasst Codepunkte nicht zu Graphemclustern zusammen. Ein Graphemcluster ist eine Folge aus einem oder mehreren Codepunkten, die ungefähr einem wahrgenommenen Zeichen entspricht. So bilden e und der nachfolgende kombinierende Akut U+0301 gemeinsam einen Cluster.

Zum Zählen wahrgenommener Zeichen oder zum Kürzen von Text ohne Schnitte innerhalb eines Clusters verwende Intl.Segmenter mit { granularity: "grapheme" }. segment(text) liefert ein iterierbares Objekt mit Einträgen, die unter anderem den Text segment und seinen bei null beginnenden Startindex index in UTF-16-Codeeinheiten enthalten. Diesen Index kannst du direkt an slice() übergeben.

Prüfe, ob Intl.Segmenter in der Zielumgebung verfügbar ist. Grenzen können je nach Implementierung und Sprach- und Regionseinstellung variieren. Ist die API nicht verfügbar, ersetze die Graphemsegmentierung nicht durch Iteration über Codepunkte: Das sind unterschiedliche Operationen.

Beispiele

{
  if (typeof globalThis.Intl?.Segmenter !== "function") {
    throw new Error("Intl.Segmenter is required for this example.");
  }

  const text = "e\u0301\u{1F600}";
  const segmenter = new Intl.Segmenter("en", { granularity: "grapheme" });
  const graphemes = [...segmenter.segment(text)];

  console.log(`UTF-16 code units: ${text.length}`);
  console.log(`Code points: ${[...text].length}`);
  console.log(`Grapheme clusters: ${graphemes.length}`);
  console.log(`Segment start offsets: ${graphemes.map(({ index }) => index).join(", ")}`);
}

Ergebnis

UTF-16 code units: 4
Code points: 3
Grapheme clusters: 2
Segment start offsets: 0, 2

`e` und der kombinierende Akut bilden den ersten Cluster. Das Emoji bildet den zweiten, beginnt bei Index `2` und belegt zwei Codeeinheiten. Erwartet werden 4 Codeeinheiten, 3 Codepunkte und 2 Cluster.

Zugehörige Lektionen

  • JavaScript · Lektion 15 · Fortgeschritten · Version: 4

Quellen