CKTIS / JavaScript
UTF-16-code-eenheden, surrogaatparen en Unicode-normalisatie
Maak onderscheid tussen code-eenheden, codepunten en grafeemclusters. Controleer of UTF-16 welgevormd is en kies een normalisatievorm om tekst te vergelijken.
Versie: ECMAScript 2024 and the current web platform; runtime support varies
Syntax
s.length
s[i]
s.slice(start, end)
s.charCodeAt(i)
s.codePointAt(i);
[...s]
s.isWellFormed()
s.toWellFormed()
s.normalize()
s.normalize(form) // "NFC", "NFD", "NFKC", or "NFKD"
a.normalize("NFC") === b.normalize("NFC")
new Intl.Segmenter(undefined, { granularity: "grapheme" }).segment(s)Een JavaScript-string is een reeks van 16-bits UTF-16-code-eenheden. length, s[i] en slice() werken met code-eenheden, niet met bytes of tekens zoals de gebruiker die waarneemt. Codepunten van U+10000 tot en met U+10FFFF vereisen een surrogaatpaar: een hoog surrogaat (0xD800–0xDBFF) direct gevolgd door een laag surrogaat (0xDC00–0xDFFF). slice() kan zo’n paar doormidden knippen.
charCodeAt(i) geeft de waarde van één code-eenheid terug. codePointAt(i) leest het hele paar alleen als het bij code-eenheidsindex i begint; anders geeft het de waarde van één eenheid terug, ook bij een laag surrogaat. Buiten het bereik geven de methoden respectievelijk NaN en undefined terug. for…of en [...s] houden geldige paren bij elkaar, maar doorlopen codepunten, geen grafeemclusters. Gebruik voor clusters zoals een letter met een combinatieteken Intl.Segmenter met granularity: "grapheme", als dat beschikbaar is.
Een string kan ongepaarde surrogaten bevatten. isWellFormed() geeft dan false terug; toWellFormed() geeft een string terug waarin elk ongepaard surrogaat is vervangen door U+FFFD. Beide methoden maken deel uit van ECMAScript 2024; controleer of de doelomgeving ze ondersteunt. Dit herstel verliest informatie en is geen normalisatie.
normalize() geeft een string terug zonder het origineel te wijzigen. NFD past canonieke ontleding toe; NFC voegt daarna waar mogelijk canonieke samenstelling toe. NFKD past compatibiliteitsontleding toe; NFKC voegt daarna canonieke samenstelling toe. Compatibiliteitsvormen kunnen betekenisvolle verschillen uitwissen, zoals dat tussen de ligatuur ff en ff. Zonder argument of met undefined wordt NFC gebruikt; een onbekende vormnaam veroorzaakt een RangeError.
=== vergelijkt reeksen code-eenheden zonder normalisatie. Normaliseer beide strings vóór de vergelijking naar NFC om canoniek equivalente vormen als gelijk te behandelen. Normalisatie kan lengtes en posities veranderen; ze maakt vergelijkingen niet vanzelf hoofdletterongevoelig en beschermt niet op zichzelf tegen misleiding met gelijkende tekens.
Voorbeelden
{
const face = "\u{1F600}";
const lone = face.slice(0, 1);
const composed = "\u00E9";
const decomposed = "e\u0301";
console.log(`${face.length} ${[...face].length}`);
console.log(`${face.charCodeAt(0).toString(16)} ${face.codePointAt(0).toString(16)} ${face.codePointAt(1).toString(16)}`);
console.log(`${lone.isWellFormed()} ${lone.toWellFormed().codePointAt(0).toString(16)}`);
console.log(`${composed.length} ${decomposed.length} ${composed === decomposed} ${composed.normalize() === decomposed.normalize()}`);
console.log(`${"\uFB00".normalize("NFC") === "ff"} ${"\uFB00".normalize("NFKC") === "ff"}`);
}Resultaat
2 1 d83d 1f600 de00 false fffd 1 2 false true false true
De eerste twee regels tonen een emoji met twee code-eenheden maar één codepunt. De derde toont herstel nadat het paar is gesplitst. De vierde vergelijkt twee weergaven van `é`, en de vijfde maakt onderscheid tussen canonieke en compatibiliteitsnormalisatie.
Gerelateerde lessen
- JavaScript · Les 3 · Gevorderd · Versie: 4
Bronnen
- ECMAScript 2024 §6.1.4 — The String Type
- ECMAScript 2024 §22.1.3.3 — String.prototype.charCodeAt
- ECMAScript 2024 §22.1.3.4 — String.prototype.codePointAt
- ECMAScript 2024 §22.1.3.10 — String.prototype.isWellFormed
- ECMAScript 2024 §22.1.3.15 — String.prototype.normalize
- ECMAScript 2024 §22.1.3.31 — String.prototype.toWellFormed
- ECMAScript 2024 §22.1.3.36 — String.prototype [ @@iterator ]
- ECMAScript 2024 Internationalization API Specification §18 — Segmenter Objects