CKTIS / JavaScript
Strings: UTF-16, pontos de código e grafemas
Uma string JavaScript é uma sequência imutável de unidades de código UTF-16. Aprende a diferença entre unidades de código, pontos de código e grafemas, e porque é que a normalização é importante ao comparar texto.
Versão: ECMAScript and Web APIs; exact feature edition and browser support reviewed per entry; Node 24 in repository does not prove browser API support
Sintaxe
text.length; text[index]; [...text]; text.normalize("NFC"); new Intl.Segmenter("en", { granularity: "grapheme" }).segment(text)Um valor string é imutável: as operações sobre texto não alteram um valor existente. length e o acesso através de text[index] referem-se a unidades de código UTF-16 de 16 bits, não a caracteres percecionados pelos utilizadores. Um ponto de código fora do Plano Multilingue Básico do Unicode, como 😀, ocupa um par de substitutos, ou seja, duas unidades de código. Uma string também pode conter um substituto isolado e, por isso, não ser texto UTF-16 bem formado.
O iterador de strings, utilizado por for...of e [...text], preserva os pares de substitutos válidos e percorre pontos de código. Ainda assim, não conta grafemas: um grafema aproxima-se de um carácter percecionado pelo utilizador e pode incluir vários pontos de código, como uma letra seguida de um acento combinante. split("") divide unidades de código, não grafemas. Para segmentar grafemas, utiliza Intl.Segmenter com { granularity: "grapheme" }, especificado em ECMA-402; verifica se está disponível no ambiente de destino antes de o utilizar. A versão de Node de um repositório não comprova o suporte nos navegadores.
=== compara sequências de unidades de código sem normalização automática. Assim, "\u00E9" e "e\u0301" são diferentes, apesar de serem canonicamente equivalentes. normalize("NFC") permite compará-las após a normalização canónica. Também estão disponíveis NFD, NFKC e NFKD; as formas de compatibilidade podem eliminar distinções importantes para uma aplicação. A normalização não substitui a segmentação de grafemas nem a comparação que não distingue maiúsculas de minúsculas.
O exemplo requer ECMAScript 2015: utiliza o iterador de strings, a sintaxe spread e normalize. O texto contém quatro unidades de código, três pontos de código e dois grafemas. O exemplo não requer Intl.Segmenter nem APIs Web.
Identificadores de referência abrangidos por esta entrada: UTF-16, code points, graphemes and normalization.
Exemplos
const text = "\u{1F600}e\u0301";
const composed = "\u00E9";
const decomposed = "e\u0301";
console.log(text.length);
console.log([...text].length);
console.log(composed === decomposed);
console.log(composed.normalize("NFC") === decomposed.normalize("NFC"));Resultado
4 3 false true
O código apresentado e o resultado declarado foram verificados num ambiente isolado pelo método registado na prova de verificação desta versão exata.