KennisbankExamencentrum
NL · NLNederlands (Nederland)
Taal kiezen13

CKTIS / JavaScript

UTF-16-code-eenheden en surrogaatparen

De lengte van een JavaScript-string telt UTF-16-code-eenheden, niet Unicode-codepunten of tekens zoals gebruikers die ervaren. Dat verschil telt bij indexeren, uitsnijden en itereren.

Versie: ECMAScript 2024 and the current web platform; runtime support varies

Syntax

s.length; s[i]; s.slice(start, end); s.charCodeAt(i); s.codePointAt(i); [...s]; s.isWellFormed(); s.toWellFormed(); new Intl.Segmenter(undefined, { granularity: "grapheme" }).segment(s)

In ECMAScript 2024 is een String-waarde een reeks 16-bits code-eenheden. In welgevormd UTF-16 neemt een scalaire Unicode-waarde van U+0000 tot en met U+FFFF (met uitzondering van U+D800–U+DFFF) één eenheid in. Een waarde van U+10000 tot en met U+10FFFF neemt er twee in: een hoog surrogaat (0xD800–0xDBFF), direct gevolgd door een laag surrogaat (0xDC00–0xDFFF). Het paar codeert één codepunt.

s.length telt code-eenheden. Ook s[i], s.slice(start, end) en s.charCodeAt(i) gebruiken vanaf nul getelde indices van code-eenheden. Bij een index binnen het bereik geeft s[i] een string met één code-eenheid terug; buiten het bereik geeft het normaal undefined terug. slice sluit end uit en kan een paar splitsen, en charCodeAt geeft de numerieke waarde van de eenheid terug (NaN buiten het bereik). s.codePointAt(i) gebruikt hetzelfde soort index: aan het begin van een paar geeft de methode het volledige codepunt als getal terug, anders de waarde van één eenheid, ook bij de tweede helft van een paar. Buiten het bereik is het resultaat undefined.

for...of en [...s] gebruiken de stringiterator. Die levert elk geldig paar samen op en alle andere eenheden afzonderlijk, ook losse surrogaten. Dat is geen segmentatie in grafeemclusters, die benaderen wat een gebruiker als één teken ervaart. Zo bestaat e gevolgd door een combinerend accent aigu uit twee codepunten, maar één grafeemcluster. Gebruik voor grafeemsegmentatie Intl.Segmenter met granularity: "grapheme" als je omgeving dit ondersteunt.

JavaScript staat losse surrogaten toe in strings. s.isWellFormed() geeft false terug als er een aanwezig is. s.toWellFormed() geeft een string terug waarin elk los surrogaat is vervangen door U+FFFD, zonder het origineel te wijzigen. Als welgevormd UTF-16 vereist is, kies dan of je de invoer afwijst of herstelt: bij vervanging gaat informatie verloren. Controleer of deze methoden in je doelomgeving beschikbaar zijn.

Voorbeelden

{
  const s = "A\u{1F600}e\u0301";
  const hex = n => n.toString(16).toUpperCase();
  console.log(`length=${s.length}; iterator=${[...s].length}`);
  console.log(`units=${hex(s.charCodeAt(1))} ${hex(s.charCodeAt(2))}`);
  console.log(`codePointAt(1)=${hex(s.codePointAt(1))}; codePointAt(2)=${hex(s.codePointAt(2))}`);
  console.log(`slice(1, 2) is lone high surrogate: ${s.slice(1, 2) === "\uD83D"}`);
}

Resultaat

length=5; iterator=4
units=D83D DE00
codePointAt(1)=1F600; codePointAt(2)=DE00
slice(1, 2) is lone high surrogate: true

De string heeft vijf code-eenheden en levert vier iteratorelementen op. Indices `1` en `2` wijzen de twee helften van de emoji aan; `slice(1, 2)` behoudt alleen het hoge surrogaat.

Gerelateerde lessen

  • JavaScript · Les 2 · Gevorderd · Versie: 4

Bronnen