CKTIS / JavaScript
Кодови единици UTF-16, сурогатни двойки и нормализация на Unicode
Разграничавай кодови единици, кодови точки и графемни клъстери. Провери дали низът е правилно формиран в UTF-16 и избери форма за нормализация при сравнение.
Версия: ECMAScript 2024 and the current web platform; runtime support varies
Синтаксис
s.length
s[i]
s.slice(start, end)
s.charCodeAt(i)
s.codePointAt(i);
[...s]
s.isWellFormed()
s.toWellFormed()
s.normalize()
s.normalize(form) // "NFC", "NFD", "NFKC", or "NFKD"
a.normalize("NFC") === b.normalize("NFC")
new Intl.Segmenter(undefined, { granularity: "grapheme" }).segment(s)Низът в JavaScript е последователност от 16-битови кодови единици UTF-16. length, s[i] и slice() работят с кодови единици, а не с байтове или със знаците, които потребителят възприема. Кодовите точки от U+10000 до U+10FFFF изискват сурогатна двойка: висок сурогат (0xD800–0xDBFF), непосредствено последван от нисък (0xDC00–0xDFFF). slice() може да раздели двойката.
charCodeAt(i) връща стойността на една кодова единица. codePointAt(i) прочита цялата двойка само ако тя започва на индекса на кодова единица i; иначе връща стойността на една единица, включително когато тя е нисък сурогат. Извън границите методите връщат съответно NaN и undefined. for…of и [...s] запазват валидните двойки цели, но обхождат кодови точки, а не графемни клъстери. За сегментиране на клъстери, като буква с комбиниращ знак, използвай Intl.Segmenter с granularity: "grapheme", ако е наличен.
Низът може да съдържа несдвоени сурогати. isWellFormed() тогава връща false, а toWellFormed() връща низ, в който всеки от тях е заменен с U+FFFD. Двата метода са част от ECMAScript 2024; провери поддръжката в целевата среда. Поправката губи информация и не е нормализация.
normalize() връща низ, без да променя оригинала. NFD прилага канонично разлагане, а NFC го следва с канонично композиране, където е възможно. NFKD прилага съвместимо разлагане, а NFKC го следва с канонично композиране. Формите за съвместимост могат да заличат важни разлики, например между лигатурата ff и ff. При пропуснат аргумент или аргумент undefined се избира NFC; неразпознато име на форма предизвиква RangeError.
=== сравнява последователности от кодови единици без нормализация. За да третираш канонично еквивалентните форми като равни, нормализирай и двата низа до NFC преди сравнението. Нормализацията може да промени дължините и позициите; сама по себе си тя не осигурява сравнение без отчитане на регистъра и не предпазва от подвеждане с визуално сходни знаци.
Примери
{
const face = "\u{1F600}";
const lone = face.slice(0, 1);
const composed = "\u00E9";
const decomposed = "e\u0301";
console.log(`${face.length} ${[...face].length}`);
console.log(`${face.charCodeAt(0).toString(16)} ${face.codePointAt(0).toString(16)} ${face.codePointAt(1).toString(16)}`);
console.log(`${lone.isWellFormed()} ${lone.toWellFormed().codePointAt(0).toString(16)}`);
console.log(`${composed.length} ${decomposed.length} ${composed === decomposed} ${composed.normalize() === decomposed.normalize()}`);
console.log(`${"\uFB00".normalize("NFC") === "ff"} ${"\uFB00".normalize("NFKC") === "ff"}`);
}Резултат
2 1 d83d 1f600 de00 false fffd 1 2 false true false true
Първите два реда показват емоджи с две кодови единици, но една кодова точка. Третият показва поправката след разделяне на двойката. Четвъртият сравнява два записа на `é`, а петият разграничава каноничната нормализация от нормализацията за съвместимост.
Свързани уроци
- JavaScript · Урок 3 · Напреднало · Версия: 4
Източници
- ECMAScript 2024 §6.1.4 — The String Type
- ECMAScript 2024 §22.1.3.3 — String.prototype.charCodeAt
- ECMAScript 2024 §22.1.3.4 — String.prototype.codePointAt
- ECMAScript 2024 §22.1.3.10 — String.prototype.isWellFormed
- ECMAScript 2024 §22.1.3.15 — String.prototype.normalize
- ECMAScript 2024 §22.1.3.31 — String.prototype.toWellFormed
- ECMAScript 2024 §22.1.3.36 — String.prototype [ @@iterator ]
- ECMAScript 2024 Internationalization API Specification §18 — Segmenter Objects