CKTIS / JavaScript
Unidades de código UTF-16, pares sustitutos y normalización Unicode
Distingue unidades de código, puntos de código y clústeres de grafemas. Comprueba si una cadena UTF-16 está bien formada y elige cómo normalizarla al comparar.
Versión: ECMAScript 2024 and the current web platform; runtime support varies
Sintaxis
s.length
s[i]
s.slice(start, end)
s.charCodeAt(i)
s.codePointAt(i);
[...s]
s.isWellFormed()
s.toWellFormed()
s.normalize()
s.normalize(form) // "NFC", "NFD", "NFKC", or "NFKD"
a.normalize("NFC") === b.normalize("NFC")
new Intl.Segmenter(undefined, { granularity: "grapheme" }).segment(s)Una cadena de JavaScript es una secuencia de unidades de código UTF-16 de 16 bits. length, s[i] y slice() trabajan con unidades de código, no con bytes ni con caracteres percibidos. Los puntos de código de U+10000 a U+10FFFF requieren un par sustituto: una unidad sustituta alta (0xD800–0xDBFF) seguida inmediatamente de una baja (0xDC00–0xDFFF). slice() puede partir el par.
charCodeAt(i) devuelve el valor de una unidad de código. codePointAt(i) lee el par entero solo si comienza en el índice de unidad i; en caso contrario, devuelve el valor de una sola unidad, incluso si es una sustituta baja. Fuera de los límites devuelven NaN y undefined, respectivamente. for…of y [...s] mantienen unidos los pares válidos, pero recorren puntos de código, no clústeres de grafemas. Para segmentar clústeres como una letra con una marca combinante, usa Intl.Segmenter con granularity: "grapheme" si está disponible.
Una cadena puede contener unidades sustitutas sin pareja. isWellFormed() devuelve false cuando las detecta; toWellFormed() devuelve una cadena con cada una sustituida por U+FFFD. Ambos métodos forman parte de ECMAScript 2024; comprueba si el entorno de destino los admite. La reparación pierde información y no es normalización.
normalize() devuelve una cadena sin modificar la original. NFD aplica la descomposición canónica; NFC añade después la composición canónica cuando es posible. NFKD aplica la descomposición de compatibilidad; NFKC añade después la composición canónica. Las formas de compatibilidad pueden borrar distinciones importantes, como la que hay entre la ligadura ff y ff. Omitir el argumento o pasar undefined selecciona NFC; un nombre de forma no reconocido lanza RangeError.
=== compara secuencias de unidades de código sin normalizarlas. Para tratar como iguales las formas canónicamente equivalentes, normaliza ambas cadenas a NFC antes de compararlas. La normalización puede cambiar las longitudes y las posiciones; por sí sola no permite comparar sin distinguir mayúsculas de minúsculas ni protege contra la suplantación mediante caracteres de aspecto similar.
Ejemplos
{
const face = "\u{1F600}";
const lone = face.slice(0, 1);
const composed = "\u00E9";
const decomposed = "e\u0301";
console.log(`${face.length} ${[...face].length}`);
console.log(`${face.charCodeAt(0).toString(16)} ${face.codePointAt(0).toString(16)} ${face.codePointAt(1).toString(16)}`);
console.log(`${lone.isWellFormed()} ${lone.toWellFormed().codePointAt(0).toString(16)}`);
console.log(`${composed.length} ${decomposed.length} ${composed === decomposed} ${composed.normalize() === decomposed.normalize()}`);
console.log(`${"\uFB00".normalize("NFC") === "ff"} ${"\uFB00".normalize("NFKC") === "ff"}`);
}Resultado
2 1 d83d 1f600 de00 false fffd 1 2 false true false true
Las dos primeras líneas muestran un emoji de dos unidades de código, pero un solo punto de código. La tercera muestra la reparación tras partir el par. La cuarta compara dos representaciones de `é`, y la quinta distingue la normalización canónica de la de compatibilidad.
Lecciones relacionadas
- JavaScript · Lección 3 · Avanzado · Versión: 4
Fuentes
- ECMAScript 2024 §6.1.4 — The String Type
- ECMAScript 2024 §22.1.3.3 — String.prototype.charCodeAt
- ECMAScript 2024 §22.1.3.4 — String.prototype.codePointAt
- ECMAScript 2024 §22.1.3.10 — String.prototype.isWellFormed
- ECMAScript 2024 §22.1.3.15 — String.prototype.normalize
- ECMAScript 2024 §22.1.3.31 — String.prototype.toWellFormed
- ECMAScript 2024 §22.1.3.36 — String.prototype [ @@iterator ]
- ECMAScript 2024 Internationalization API Specification §18 — Segmenter Objects