KennisbankExamencentrum
NL · NLNederlands (Nederland)
Taal kiezen13

CKTIS / JavaScript

Strings: UTF-16, codepoints en grafeemclusters

Een JavaScript-string is een onveranderlijke reeks UTF-16-code-eenheden. Ontdek het verschil tussen code-eenheden, codepoints en grafeemclusters, en waarom normalisatie belangrijk is bij het vergelijken van tekst.

Versie: ECMAScript and Web APIs; exact feature edition and browser support reviewed per entry; Node 24 in repository does not prove browser API support

Syntax

text.length; text[index]; [...text]; text.normalize("NFC"); new Intl.Segmenter("en", { granularity: "grapheme" }).segment(text)

Een string-waarde is onveranderlijk: tekstbewerkingen veranderen een bestaande waarde niet. length en indexering met text[index] verwijzen naar 16-bits UTF-16-code-eenheden, niet naar tekens zoals gebruikers die waarnemen. Een codepoint buiten het Basic Multilingual Plane van Unicode, zoals 😀, neemt een surrogaatpaar in beslag, oftewel twee code-eenheden. Een string kan ook een losse surrogaat bevatten en hoeft dus geen goed gevormde UTF-16-tekst te zijn.

De string-iterator, gebruikt door for...of en [...text], behoudt geldige surrogaatparen en itereert over codepoints. Daarmee tel je nog steeds geen grafeemclusters: een grafeemcluster benadert één door de gebruiker waargenomen teken en kan meerdere codepoints bevatten, zoals een letter met een gecombineerd accent. split("") splitst code-eenheden, geen grafeemclusters. Gebruik voor segmentatie van grafeemclusters Intl.Segmenter met { granularity: "grapheme" }, zoals vastgelegd in ECMA-402; controleer vóór gebruik of dit beschikbaar is in de doelomgeving. De Node-versie van een repository bewijst niet dat browsers dit ondersteunen.

=== vergelijkt reeksen code-eenheden zonder automatische normalisatie. Daarom zijn "\u00E9" en "e\u0301" niet gelijk, hoewel ze canoniek equivalent zijn. Met normalize("NFC") kun je ze na canonieke normalisatie vergelijken. Ook NFD, NFKC en NFKD zijn beschikbaar; compatibiliteitsvormen kunnen verschillen verwijderen die belangrijk zijn voor een toepassing. Normalisatie vervangt geen grafeemsegmentatie en ook geen vergelijking zonder onderscheid tussen hoofdletters en kleine letters.

Het voorbeeld vereist ECMAScript 2015: het gebruikt de string-iterator, spread-syntaxis en normalize. De tekst bevat vier code-eenheden, drie codepoints en twee grafeemclusters. Het voorbeeld vereist geen Intl.Segmenter of Web-API’s.

Referentie-identificatoren die in dit item worden behandeld: UTF-16, code points, graphemes and normalization.

Voorbeelden

const text = "\u{1F600}e\u0301";
const composed = "\u00E9";
const decomposed = "e\u0301";

console.log(text.length);
console.log([...text].length);
console.log(composed === decomposed);
console.log(composed.normalize("NFC") === decomposed.normalize("NFC"));

Resultaat

4
3
false
true

De getoonde code en het opgegeven resultaat zijn in een geïsoleerde omgeving geverifieerd met de methode die in het verificatiebewijs voor exact deze versie is vastgelegd.

Bronnen