KennisbankExamencentrum
NL · NLNederlands (Nederland)
Taal kiezen13

CKTIS / JavaScript

UTF-16-code-eenheden, surrogaatparen en Unicode-normalisatie

Maak onderscheid tussen code-eenheden, codepunten en grafeemclusters. Controleer of UTF-16 welgevormd is en kies een normalisatievorm om tekst te vergelijken.

Versie: ECMAScript 2024 and the current web platform; runtime support varies

Syntax

s.length
s[i]
s.slice(start, end)
s.charCodeAt(i)
s.codePointAt(i);
[...s]
s.isWellFormed()
s.toWellFormed()
s.normalize()
s.normalize(form) // "NFC", "NFD", "NFKC", or "NFKD"
a.normalize("NFC") === b.normalize("NFC")
new Intl.Segmenter(undefined, { granularity: "grapheme" }).segment(s)

Een JavaScript-string is een reeks van 16-bits UTF-16-code-eenheden. length, s[i] en slice() werken met code-eenheden, niet met bytes of tekens zoals de gebruiker die waarneemt. Codepunten van U+10000 tot en met U+10FFFF vereisen een surrogaatpaar: een hoog surrogaat (0xD800–0xDBFF) direct gevolgd door een laag surrogaat (0xDC00–0xDFFF). slice() kan zo’n paar doormidden knippen.

charCodeAt(i) geeft de waarde van één code-eenheid terug. codePointAt(i) leest het hele paar alleen als het bij code-eenheidsindex i begint; anders geeft het de waarde van één eenheid terug, ook bij een laag surrogaat. Buiten het bereik geven de methoden respectievelijk NaN en undefined terug. for…of en [...s] houden geldige paren bij elkaar, maar doorlopen codepunten, geen grafeemclusters. Gebruik voor clusters zoals een letter met een combinatieteken Intl.Segmenter met granularity: "grapheme", als dat beschikbaar is.

Een string kan ongepaarde surrogaten bevatten. isWellFormed() geeft dan false terug; toWellFormed() geeft een string terug waarin elk ongepaard surrogaat is vervangen door U+FFFD. Beide methoden maken deel uit van ECMAScript 2024; controleer of de doelomgeving ze ondersteunt. Dit herstel verliest informatie en is geen normalisatie.

normalize() geeft een string terug zonder het origineel te wijzigen. NFD past canonieke ontleding toe; NFC voegt daarna waar mogelijk canonieke samenstelling toe. NFKD past compatibiliteitsontleding toe; NFKC voegt daarna canonieke samenstelling toe. Compatibiliteitsvormen kunnen betekenisvolle verschillen uitwissen, zoals dat tussen de ligatuur ff en ff. Zonder argument of met undefined wordt NFC gebruikt; een onbekende vormnaam veroorzaakt een RangeError.

=== vergelijkt reeksen code-eenheden zonder normalisatie. Normaliseer beide strings vóór de vergelijking naar NFC om canoniek equivalente vormen als gelijk te behandelen. Normalisatie kan lengtes en posities veranderen; ze maakt vergelijkingen niet vanzelf hoofdletterongevoelig en beschermt niet op zichzelf tegen misleiding met gelijkende tekens.

Voorbeelden

{
  const face = "\u{1F600}";
  const lone = face.slice(0, 1);
  const composed = "\u00E9";
  const decomposed = "e\u0301";

  console.log(`${face.length} ${[...face].length}`);
  console.log(`${face.charCodeAt(0).toString(16)} ${face.codePointAt(0).toString(16)} ${face.codePointAt(1).toString(16)}`);
  console.log(`${lone.isWellFormed()} ${lone.toWellFormed().codePointAt(0).toString(16)}`);
  console.log(`${composed.length} ${decomposed.length} ${composed === decomposed} ${composed.normalize() === decomposed.normalize()}`);
  console.log(`${"\uFB00".normalize("NFC") === "ff"} ${"\uFB00".normalize("NFKC") === "ff"}`);
}

Resultaat

2 1
d83d 1f600 de00
false fffd
1 2 false true
false true

De eerste twee regels tonen een emoji met twee code-eenheden maar één codepunt. De derde toont herstel nadat het paar is gesplitst. De vierde vergelijkt twee weergaven van `é`, en de vijfde maakt onderscheid tussen canonieke en compatibiliteitsnormalisatie.

Gerelateerde lessen

  • JavaScript · Les 3 · Gevorderd · Versie: 4

Bronnen