KennisbankExamencentrum
NL · NLNederlands (Nederland)
Taal kiezen13

CKTIS / JavaScript

Unicode-codepunten en grafeemclusters

JavaScript meet tekenreekslengte in UTF-16-code-eenheden, doorloopt tekenreeksen per codepunt en bepaalt grafeemgrenzen met `Intl.Segmenter`.

Versie: ECMAScript 2024 and the current web platform; runtime support varies

Syntax

text.length
text[i]
[...text]
new Intl.Segmenter(locale, { granularity: "grapheme" }).segment(text)

Een Unicode-codepunt is een numerieke waarde, zoals U+0065 voor e. In goedgevormde UTF-16-tekst neemt een scalaire Unicode-waarde één of twee 16-bits code-eenheden in beslag. In JavaScript telt text.length code-eenheden, terwijl text[i] en text.slice() posities in die eenheden gebruiken. Als je op zo’n positie knipt, kun je een surrogaatpaar splitsen.

[...text] en for...of gebruiken de iterator van de tekenreeks. Die houdt geldige surrogaatparen bij elkaar, levert een ongepaard surrogaat als apart element op en groepeert codepunten niet tot grafeemclusters. Een grafeemcluster is een reeks van één of meer codepunten die ongeveer overeenkomt met één teken zoals een gebruiker het waarneemt. Zo vormt e gevolgd door het combinerende accent aigu U+0301 één cluster.

Gebruik Intl.Segmenter met { granularity: "grapheme" } om waargenomen tekens te tellen of tekst in te korten zonder midden in een cluster te knippen. segment(text) geeft een itereerbaar object terug met elementen die onder meer de tekst segment bevatten en de bijbehorende beginindex index, geteld vanaf nul in UTF-16-code-eenheden. Je kunt die index rechtstreeks aan slice() doorgeven.

Controleer of Intl.Segmenter beschikbaar is in de beoogde uitvoeringsomgeving. Grenzen kunnen verschillen per implementatie en taal- en regio-instelling. Als de API ontbreekt, vervang grafeemsegmentatie dan niet door iteratie per codepunt: het zijn verschillende bewerkingen.

Voorbeelden

{
  if (typeof globalThis.Intl?.Segmenter !== "function") {
    throw new Error("Intl.Segmenter is required for this example.");
  }

  const text = "e\u0301\u{1F600}";
  const segmenter = new Intl.Segmenter("en", { granularity: "grapheme" });
  const graphemes = [...segmenter.segment(text)];

  console.log(`UTF-16 code units: ${text.length}`);
  console.log(`Code points: ${[...text].length}`);
  console.log(`Grapheme clusters: ${graphemes.length}`);
  console.log(`Segment start offsets: ${graphemes.map(({ index }) => index).join(", ")}`);
}

Resultaat

UTF-16 code units: 4
Code points: 3
Grapheme clusters: 2
Segment start offsets: 0, 2

`e` en het combinerende accent vormen het eerste cluster. De emoji vormt het tweede, begint op index `2` en neemt twee code-eenheden in beslag. Verwacht worden 4 code-eenheden, 3 codepunten en 2 clusters.

Gerelateerde lessen

  • JavaScript · Les 15 · Gevorderd · Versie: 4

Bronnen