CKTIS / JavaScript
UTF-16-Codeeinheiten und Surrogatpaare
Die Länge einer JavaScript-Zeichenkette zählt UTF-16-Codeeinheiten, nicht Unicode-Codepunkte oder wahrgenommene Zeichen. Das ist beim Indexieren, Ausschneiden und Iterieren wichtig.
Version: ECMAScript 2024 and the current web platform; runtime support varies
Syntax
s.length; s[i]; s.slice(start, end); s.charCodeAt(i); s.codePointAt(i); [...s]; s.isWellFormed(); s.toWellFormed(); new Intl.Segmenter(undefined, { granularity: "grapheme" }).segment(s)In ECMAScript 2024 ist ein String-Wert eine Folge von 16-Bit-Codeeinheiten. In wohlgeformtem UTF-16 benötigt ein Unicode-Skalarwert von U+0000 bis U+FFFF (außer U+D800–U+DFFF) eine Einheit. Ein Wert von U+10000 bis U+10FFFF benötigt zwei: Auf ein hohes Surrogat (0xD800–0xDBFF) folgt direkt ein niedriges Surrogat (0xDC00–0xDFFF). Das Paar kodiert einen Codepunkt.
s.length zählt Codeeinheiten. s[i], s.slice(start, end) und s.charCodeAt(i) verwenden ebenfalls nullbasierte Codeeinheitenindizes. Bei einem Index im gültigen Bereich gibt s[i] eine Zeichenkette mit einer Codeeinheit zurück, außerhalb des Bereichs normalerweise undefined. slice schließt end aus und kann ein Paar trennen, und charCodeAt liefert den Zahlenwert der Einheit (außerhalb des Bereichs NaN). s.codePointAt(i) verwendet dieselbe Art von Index: Am Anfang eines Paars liefert die Methode den vollständigen Codepunkt als Zahl, sonst den Zahlenwert der einzelnen Einheit, auch an der zweiten Position eines Paars. Außerhalb des Bereichs liefert sie undefined.
for...of und [...s] verwenden den Zeichenketteniterator. Er gibt jedes gültige Paar zusammen und alle anderen Einheiten einzeln aus, auch ungepaarte Surrogate. Das ist keine Graphemsegmentierung: Graphemcluster entsprechen näherungsweise den wahrgenommenen Zeichen. e gefolgt von einem kombinierenden Akut besteht beispielsweise aus zwei Codepunkten, bildet aber einen Graphemcluster. Verwende für die Graphemsegmentierung Intl.Segmenter mit granularity: "grapheme", sofern verfügbar.
JavaScript erlaubt ungepaarte Surrogate in Zeichenketten. s.isWellFormed() gibt false zurück, wenn mindestens eines vorkommt. s.toWellFormed() liefert eine Zeichenkette, in der jedes ungepaarte Surrogat durch U+FFFD ersetzt ist; das Original bleibt unverändert. Wenn wohlgeformtes UTF-16 erforderlich ist, entscheide zwischen Zurückweisen und Reparieren der Eingabe: Beim Ersetzen geht Information verloren. Prüfe, ob diese Methoden in der Ziellaufzeit verfügbar sind.
Beispiele
{
const s = "A\u{1F600}e\u0301";
const hex = n => n.toString(16).toUpperCase();
console.log(`length=${s.length}; iterator=${[...s].length}`);
console.log(`units=${hex(s.charCodeAt(1))} ${hex(s.charCodeAt(2))}`);
console.log(`codePointAt(1)=${hex(s.codePointAt(1))}; codePointAt(2)=${hex(s.codePointAt(2))}`);
console.log(`slice(1, 2) is lone high surrogate: ${s.slice(1, 2) === "\uD83D"}`);
}Ergebnis
length=5; iterator=4 units=D83D DE00 codePointAt(1)=1F600; codePointAt(2)=DE00 slice(1, 2) is lone high surrogate: true
Die Zeichenkette hat fünf Codeeinheiten und vier Iteratorelemente. Die Indizes `1` und `2` bezeichnen die beiden Hälften des Emojis; `slice(1, 2)` behält nur das hohe Surrogat.
Zugehörige Lektionen
- JavaScript · Lektion 2 · Fortgeschritten · Version: 4