CKTIS / JavaScript
UTF-16-Codeeinheiten, Surrogatpaare und Unicode-Normalisierung
Unterscheide Codeeinheiten, Codepunkte und Graphemcluster. Prüfe UTF-16 auf Wohlgeformtheit und wähle eine Normalisierungsform für Textvergleiche.
Version: ECMAScript 2024 and the current web platform; runtime support varies
Syntax
s.length
s[i]
s.slice(start, end)
s.charCodeAt(i)
s.codePointAt(i);
[...s]
s.isWellFormed()
s.toWellFormed()
s.normalize()
s.normalize(form) // "NFC", "NFD", "NFKC", or "NFKD"
a.normalize("NFC") === b.normalize("NFC")
new Intl.Segmenter(undefined, { granularity: "grapheme" }).segment(s)Ein JavaScript-String ist eine Folge von 16-Bit-UTF-16-Codeeinheiten. length, s[i] und slice() arbeiten mit Codeeinheiten, nicht mit Bytes oder wahrgenommenen Zeichen. Codepunkte von U+10000 bis U+10FFFF benötigen ein Surrogatpaar: Auf ein hohes Surrogat (0xD800–0xDBFF) folgt unmittelbar ein niedriges (0xDC00–0xDFFF). slice() kann ein solches Paar trennen.
charCodeAt(i) liefert den Wert einer Codeeinheit. codePointAt(i) liest das ganze Paar nur, wenn es am Codeeinheitenindex i beginnt. Andernfalls liefert es den Wert der einzelnen Einheit, auch bei einem niedrigen Surrogat. Außerhalb des gültigen Bereichs liefern die Methoden NaN beziehungsweise undefined. for…of und [...s] halten gültige Paare zusammen, iterieren aber über Codepunkte statt über Graphemcluster. Für Cluster wie einen Buchstaben mit kombinierendem Zeichen eignet sich Intl.Segmenter mit granularity: "grapheme", sofern verfügbar.
Ein String kann ungepaarte Surrogate enthalten. isWellFormed() gibt dann false zurück; toWellFormed() liefert einen String, in dem jedes ungepaarte Surrogat durch U+FFFD ersetzt ist. Beide Methoden gehören zu ECMAScript 2024; prüfe die Unterstützung in der Zielumgebung. Diese Reparatur ist verlustbehaftet und keine Normalisierung.
normalize() liefert einen String, ohne das Original zu ändern. NFD zerlegt kanonisch; NFC setzt danach kanonisch zusammen, wo das möglich ist. NFKD verwendet die Kompatibilitätszerlegung; NFKC fügt danach die kanonische Zusammensetzung hinzu. Kompatibilitätsformen können relevante Unterschiede wie den zwischen der Ligatur ff und ff beseitigen. Ohne Argument oder mit undefined gilt NFC; ein unbekannter Formname löst einen RangeError aus.
=== vergleicht Codeeinheitenfolgen ohne Normalisierung. Sollen kanonisch äquivalente Formen als gleich gelten, normalisiere beide Strings vor dem Vergleich auf NFC. Die Normalisierung kann Längen und Positionen ändern. Sie ermöglicht für sich genommen weder einen Vergleich ohne Beachtung der Groß- und Kleinschreibung noch Schutz vor Täuschung durch ähnlich aussehende Zeichen.
Beispiele
{
const face = "\u{1F600}";
const lone = face.slice(0, 1);
const composed = "\u00E9";
const decomposed = "e\u0301";
console.log(`${face.length} ${[...face].length}`);
console.log(`${face.charCodeAt(0).toString(16)} ${face.codePointAt(0).toString(16)} ${face.codePointAt(1).toString(16)}`);
console.log(`${lone.isWellFormed()} ${lone.toWellFormed().codePointAt(0).toString(16)}`);
console.log(`${composed.length} ${decomposed.length} ${composed === decomposed} ${composed.normalize() === decomposed.normalize()}`);
console.log(`${"\uFB00".normalize("NFC") === "ff"} ${"\uFB00".normalize("NFKC") === "ff"}`);
}Ergebnis
2 1 d83d 1f600 de00 false fffd 1 2 false true false true
Die ersten beiden Zeilen zeigen ein Emoji mit zwei Codeeinheiten, aber einem Codepunkt. Die dritte zeigt die Reparatur nach dem Trennen des Paars. Die vierte vergleicht zwei Darstellungen von `é`, die fünfte unterscheidet kanonische und Kompatibilitätsnormalisierung.
Zugehörige Lektionen
- JavaScript · Lektion 3 · Fortgeschritten · Version: 4
Quellen
- ECMAScript 2024 §6.1.4 — The String Type
- ECMAScript 2024 §22.1.3.3 — String.prototype.charCodeAt
- ECMAScript 2024 §22.1.3.4 — String.prototype.codePointAt
- ECMAScript 2024 §22.1.3.10 — String.prototype.isWellFormed
- ECMAScript 2024 §22.1.3.15 — String.prototype.normalize
- ECMAScript 2024 §22.1.3.31 — String.prototype.toWellFormed
- ECMAScript 2024 §22.1.3.36 — String.prototype [ @@iterator ]
- ECMAScript 2024 Internationalization API Specification §18 — Segmenter Objects