CKTIS / JavaScript
Puntos de código Unicode frente a grupos de grafemas
JavaScript mide la longitud de una cadena en unidades de código UTF-16, la recorre por puntos de código y detecta los límites de los grupos de grafemas con `Intl.Segmenter`.
Versión: ECMAScript 2024 and the current web platform; runtime support varies
Sintaxis
text.length
text[i]
[...text]
new Intl.Segmenter(locale, { granularity: "grapheme" }).segment(text)Un punto de código Unicode es un valor numérico, como U+0065 para e. En un texto UTF-16 bien formado, un valor escalar Unicode ocupa una o dos unidades de código de 16 bits. En JavaScript, text.length cuenta unidades de código, mientras que text[i] y text.slice() usan índices en esas unidades. Cortar en uno de esos índices puede separar un par sustituto.
[...text] y for...of usan el iterador de la cadena. Este conserva los pares sustitutos válidos, devuelve por separado cada unidad sustituta aislada y no agrupa los puntos de código en grupos de grafemas. Un grupo de grafemas es una secuencia de uno o más puntos de código que se aproxima a un carácter tal como lo percibe el usuario. Por ejemplo, e seguido del acento agudo combinante U+0301 forma un solo grupo.
Para contar los caracteres percibidos o truncar un texto sin cortar dentro de un grupo, usa Intl.Segmenter con { granularity: "grapheme" }. El método segment(text) devuelve un iterable cuyos elementos incluyen el texto segment y su índice inicial index, contado desde cero en unidades de código UTF-16. Puedes pasar ese índice directamente a slice().
Comprueba si Intl.Segmenter está disponible en el entorno de ejecución de destino. Los límites pueden variar según la implementación y la configuración regional. Si la API no está disponible, no sustituyas la segmentación en grafemas por la iteración por puntos de código: son operaciones distintas.
Ejemplos
{
if (typeof globalThis.Intl?.Segmenter !== "function") {
throw new Error("Intl.Segmenter is required for this example.");
}
const text = "e\u0301\u{1F600}";
const segmenter = new Intl.Segmenter("en", { granularity: "grapheme" });
const graphemes = [...segmenter.segment(text)];
console.log(`UTF-16 code units: ${text.length}`);
console.log(`Code points: ${[...text].length}`);
console.log(`Grapheme clusters: ${graphemes.length}`);
console.log(`Segment start offsets: ${graphemes.map(({ index }) => index).join(", ")}`);
}Resultado
UTF-16 code units: 4 Code points: 3 Grapheme clusters: 2 Segment start offsets: 0, 2
`e` y el acento combinante forman el primer grupo. El emoji forma el segundo, empieza en el índice `2` y ocupa dos unidades de código. Se esperan 4 unidades de código, 3 puntos de código y 2 grupos.
Lecciones relacionadas
- JavaScript · Lección 15 · Avanzado · Versión: 4
Fuentes
- ECMAScript 2024 Language Specification — The String Type
- ECMAScript 2024 Language Specification — String.prototype [ @@iterator ]
- ECMAScript 2024 Internationalization API Specification — Intl.Segmenter.prototype.segment
- ECMAScript 2024 Internationalization API Specification — CreateSegmentDataObject
- ECMAScript 2024 Internationalization API Specification — FindBoundary
- MDN — Intl.Segmenter