Base de conhecimentoCentro de Exames
PT · PTPortuguês (Portugal)
Escolher idioma13

CKTIS / JavaScript

Unidades de código UTF-16 e pares de substitutos

O comprimento de uma cadeia JavaScript conta unidades de código UTF-16, não pontos de código Unicode nem caracteres percecionados. A distinção é importante ao indexar, extrair ou percorrer texto.

Versão: ECMAScript 2024 and the current web platform; runtime support varies

Sintaxe

s.length; s[i]; s.slice(start, end); s.charCodeAt(i); s.codePointAt(i); [...s]; s.isWellFormed(); s.toWellFormed(); new Intl.Segmenter(undefined, { granularity: "grapheme" }).segment(s)

Em ECMAScript 2024, um valor String é uma sequência de unidades de código de 16 bits. Em UTF-16 bem formado, um valor escalar Unicode de U+0000 a U+FFFF (excluindo U+D800–U+DFFF) ocupa uma unidade. Um valor de U+10000 a U+10FFFF ocupa duas: um substituto alto (0xD800–0xDBFF) imediatamente seguido de um substituto baixo (0xDC00–0xDFFF). O par codifica um único ponto de código.

s.length conta unidades de código. s[i], s.slice(start, end) e s.charCodeAt(i) também usam índices de unidades de código a partir de zero. Se o índice estiver dentro dos limites da cadeia, s[i] devolve uma cadeia com uma única unidade de código; fora dos limites, normalmente devolve undefined. slice exclui end e pode separar um par, e charCodeAt devolve o valor numérico da unidade (NaN fora dos limites). s.codePointAt(i) usa o mesmo tipo de índice: no início de um par, devolve o valor numérico do ponto de código completo; nos restantes casos, o da unidade isolada, mesmo na segunda metade de um par. Fora dos limites, devolve undefined.

for...of e [...s] usam o iterador da cadeia, que devolve cada par válido como um todo e as restantes unidades separadamente, incluindo substitutos isolados. Isto não segmenta o texto em grupos de grafemas, que correspondem aproximadamente aos caracteres percecionados. Por exemplo, e seguido de um acento agudo combinante forma dois pontos de código, mas um só grupo de grafemas. Para segmentar texto por grafemas, use Intl.Segmenter com granularity: "grapheme" se o ambiente o suportar.

JavaScript permite substitutos isolados nas cadeias. s.isWellFormed() devolve false se existir algum. s.toWellFormed() devolve uma cadeia em que cada substituto isolado é trocado por U+FFFD, sem alterar a original. Se precisar de UTF-16 bem formado, decida se deve rejeitar ou corrigir a entrada: a substituição implica perda de informação. Confirme que estes métodos estão disponíveis no ambiente de execução de destino.

Exemplos

{
  const s = "A\u{1F600}e\u0301";
  const hex = n => n.toString(16).toUpperCase();
  console.log(`length=${s.length}; iterator=${[...s].length}`);
  console.log(`units=${hex(s.charCodeAt(1))} ${hex(s.charCodeAt(2))}`);
  console.log(`codePointAt(1)=${hex(s.codePointAt(1))}; codePointAt(2)=${hex(s.codePointAt(2))}`);
  console.log(`slice(1, 2) is lone high surrogate: ${s.slice(1, 2) === "\uD83D"}`);
}

Resultado

length=5; iterator=4
units=D83D DE00
codePointAt(1)=1F600; codePointAt(2)=DE00
slice(1, 2) is lone high surrogate: true

A cadeia tem cinco unidades de código e produz quatro elementos ao ser percorrida. Os índices `1` e `2` apontam para as duas metades do emoji; `slice(1, 2)` mantém apenas o substituto alto.

Lições relacionadas

  • JavaScript · Lição 2 · Avançado · Versão: 4

Fontes