Base de conhecimentoCentro de Exames
PT · PTPortuguês (Portugal)
Escolher idioma13

CKTIS / JavaScript

Unidades de código UTF-16, pares de substitutos e normalização Unicode

Distingue unidades de código, pontos de código e grupos de grafemas. Verifica se o UTF-16 está bem formado e escolhe a normalização para comparar texto.

Versão: ECMAScript 2024 and the current web platform; runtime support varies

Sintaxe

s.length
s[i]
s.slice(start, end)
s.charCodeAt(i)
s.codePointAt(i);
[...s]
s.isWellFormed()
s.toWellFormed()
s.normalize()
s.normalize(form) // "NFC", "NFD", "NFKC", or "NFKD"
a.normalize("NFC") === b.normalize("NFC")
new Intl.Segmenter(undefined, { granularity: "grapheme" }).segment(s)

Uma cadeia de JavaScript é uma sequência de unidades de código UTF-16 de 16 bits. length, s[i] e slice() trabalham com unidades de código, não com bytes nem com carateres percecionados. Os pontos de código de U+10000 a U+10FFFF exigem um par de substitutos: um substituto alto (0xD800–0xDBFF) seguido imediatamente de um baixo (0xDC00–0xDFFF). slice() pode separar o par.

charCodeAt(i) devolve o valor de uma unidade de código. codePointAt(i) lê o par completo apenas se este começar no índice de unidade i; caso contrário, devolve o valor da unidade isolada, inclusive quando esta é um substituto baixo. Fora dos limites, devolvem NaN e undefined, respetivamente. for…of e [...s] mantêm juntos os pares válidos, mas percorrem pontos de código, não grupos de grafemas. Para segmentar grupos como uma letra com uma marca combinante, usa Intl.Segmenter com granularity: "grapheme", se estiver disponível.

Uma cadeia pode conter substitutos sem par. isWellFormed() devolve false quando os encontra; toWellFormed() devolve uma cadeia em que cada um foi substituído por U+FFFD. Ambos os métodos fazem parte de ECMAScript 2024; verifica se o ambiente de destino os suporta. A reparação perde informação e não é normalização.

normalize() devolve uma cadeia sem alterar a original. NFD aplica a decomposição canónica; NFC aplica depois a composição canónica quando possível. NFKD aplica a decomposição de compatibilidade; NFKC aplica depois a composição canónica. As formas de compatibilidade podem apagar distinções relevantes, como a diferença entre a ligadura ff e ff. Omitir o argumento ou passar undefined seleciona NFC; um nome de forma não reconhecido lança RangeError.

=== compara sequências de unidades de código sem as normalizar. Para considerar iguais as formas canonicamente equivalentes, normaliza ambas as cadeias para NFC antes de as comparar. A normalização pode alterar comprimentos e posições; por si só, não permite comparar ignorando maiúsculas e minúsculas nem protege contra a usurpação de identidade com carateres visualmente semelhantes.

Exemplos

{
  const face = "\u{1F600}";
  const lone = face.slice(0, 1);
  const composed = "\u00E9";
  const decomposed = "e\u0301";

  console.log(`${face.length} ${[...face].length}`);
  console.log(`${face.charCodeAt(0).toString(16)} ${face.codePointAt(0).toString(16)} ${face.codePointAt(1).toString(16)}`);
  console.log(`${lone.isWellFormed()} ${lone.toWellFormed().codePointAt(0).toString(16)}`);
  console.log(`${composed.length} ${decomposed.length} ${composed === decomposed} ${composed.normalize() === decomposed.normalize()}`);
  console.log(`${"\uFB00".normalize("NFC") === "ff"} ${"\uFB00".normalize("NFKC") === "ff"}`);
}

Resultado

2 1
d83d 1f600 de00
false fffd
1 2 false true
false true

As duas primeiras linhas mostram um emoji com duas unidades de código, mas um só ponto de código. A terceira mostra a reparação após separar o par. A quarta compara duas representações de `é`, e a quinta distingue a normalização canónica da de compatibilidade.

Lições relacionadas

  • JavaScript · Lição 3 · Avançado · Versão: 4

Fontes