Base de conhecimentoCentro de Exames
PT · PTPortuguês (Portugal)
Escolher idioma13

CKTIS / JavaScript

Strings: UTF-16, pontos de código e grafemas

Uma string JavaScript é uma sequência imutável de unidades de código UTF-16. Aprende a diferença entre unidades de código, pontos de código e grafemas, e porque é que a normalização é importante ao comparar texto.

Versão: ECMAScript and Web APIs; exact feature edition and browser support reviewed per entry; Node 24 in repository does not prove browser API support

Sintaxe

text.length; text[index]; [...text]; text.normalize("NFC"); new Intl.Segmenter("en", { granularity: "grapheme" }).segment(text)

Um valor string é imutável: as operações sobre texto não alteram um valor existente. length e o acesso através de text[index] referem-se a unidades de código UTF-16 de 16 bits, não a caracteres percecionados pelos utilizadores. Um ponto de código fora do Plano Multilingue Básico do Unicode, como 😀, ocupa um par de substitutos, ou seja, duas unidades de código. Uma string também pode conter um substituto isolado e, por isso, não ser texto UTF-16 bem formado.

O iterador de strings, utilizado por for...of e [...text], preserva os pares de substitutos válidos e percorre pontos de código. Ainda assim, não conta grafemas: um grafema aproxima-se de um carácter percecionado pelo utilizador e pode incluir vários pontos de código, como uma letra seguida de um acento combinante. split("") divide unidades de código, não grafemas. Para segmentar grafemas, utiliza Intl.Segmenter com { granularity: "grapheme" }, especificado em ECMA-402; verifica se está disponível no ambiente de destino antes de o utilizar. A versão de Node de um repositório não comprova o suporte nos navegadores.

=== compara sequências de unidades de código sem normalização automática. Assim, "\u00E9" e "e\u0301" são diferentes, apesar de serem canonicamente equivalentes. normalize("NFC") permite compará-las após a normalização canónica. Também estão disponíveis NFD, NFKC e NFKD; as formas de compatibilidade podem eliminar distinções importantes para uma aplicação. A normalização não substitui a segmentação de grafemas nem a comparação que não distingue maiúsculas de minúsculas.

O exemplo requer ECMAScript 2015: utiliza o iterador de strings, a sintaxe spread e normalize. O texto contém quatro unidades de código, três pontos de código e dois grafemas. O exemplo não requer Intl.Segmenter nem APIs Web.

Identificadores de referência abrangidos por esta entrada: UTF-16, code points, graphemes and normalization.

Exemplos

const text = "\u{1F600}e\u0301";
const composed = "\u00E9";
const decomposed = "e\u0301";

console.log(text.length);
console.log([...text].length);
console.log(composed === decomposed);
console.log(composed.normalize("NFC") === decomposed.normalize("NFC"));

Resultado

4
3
false
true

O código apresentado e o resultado declarado foram verificados num ambiente isolado pelo método registado na prova de verificação desta versão exata.

Fontes