CKTIS / JavaScript
Unidades de código UTF-16, pares de substitutos e normalização Unicode
Distingue unidades de código, pontos de código e grupos de grafemas. Verifica se o UTF-16 está bem formado e escolhe a normalização para comparar texto.
Versão: ECMAScript 2024 and the current web platform; runtime support varies
Sintaxe
s.length
s[i]
s.slice(start, end)
s.charCodeAt(i)
s.codePointAt(i);
[...s]
s.isWellFormed()
s.toWellFormed()
s.normalize()
s.normalize(form) // "NFC", "NFD", "NFKC", or "NFKD"
a.normalize("NFC") === b.normalize("NFC")
new Intl.Segmenter(undefined, { granularity: "grapheme" }).segment(s)Uma cadeia de JavaScript é uma sequência de unidades de código UTF-16 de 16 bits. length, s[i] e slice() trabalham com unidades de código, não com bytes nem com carateres percecionados. Os pontos de código de U+10000 a U+10FFFF exigem um par de substitutos: um substituto alto (0xD800–0xDBFF) seguido imediatamente de um baixo (0xDC00–0xDFFF). slice() pode separar o par.
charCodeAt(i) devolve o valor de uma unidade de código. codePointAt(i) lê o par completo apenas se este começar no índice de unidade i; caso contrário, devolve o valor da unidade isolada, inclusive quando esta é um substituto baixo. Fora dos limites, devolvem NaN e undefined, respetivamente. for…of e [...s] mantêm juntos os pares válidos, mas percorrem pontos de código, não grupos de grafemas. Para segmentar grupos como uma letra com uma marca combinante, usa Intl.Segmenter com granularity: "grapheme", se estiver disponível.
Uma cadeia pode conter substitutos sem par. isWellFormed() devolve false quando os encontra; toWellFormed() devolve uma cadeia em que cada um foi substituído por U+FFFD. Ambos os métodos fazem parte de ECMAScript 2024; verifica se o ambiente de destino os suporta. A reparação perde informação e não é normalização.
normalize() devolve uma cadeia sem alterar a original. NFD aplica a decomposição canónica; NFC aplica depois a composição canónica quando possível. NFKD aplica a decomposição de compatibilidade; NFKC aplica depois a composição canónica. As formas de compatibilidade podem apagar distinções relevantes, como a diferença entre a ligadura ff e ff. Omitir o argumento ou passar undefined seleciona NFC; um nome de forma não reconhecido lança RangeError.
=== compara sequências de unidades de código sem as normalizar. Para considerar iguais as formas canonicamente equivalentes, normaliza ambas as cadeias para NFC antes de as comparar. A normalização pode alterar comprimentos e posições; por si só, não permite comparar ignorando maiúsculas e minúsculas nem protege contra a usurpação de identidade com carateres visualmente semelhantes.
Exemplos
{
const face = "\u{1F600}";
const lone = face.slice(0, 1);
const composed = "\u00E9";
const decomposed = "e\u0301";
console.log(`${face.length} ${[...face].length}`);
console.log(`${face.charCodeAt(0).toString(16)} ${face.codePointAt(0).toString(16)} ${face.codePointAt(1).toString(16)}`);
console.log(`${lone.isWellFormed()} ${lone.toWellFormed().codePointAt(0).toString(16)}`);
console.log(`${composed.length} ${decomposed.length} ${composed === decomposed} ${composed.normalize() === decomposed.normalize()}`);
console.log(`${"\uFB00".normalize("NFC") === "ff"} ${"\uFB00".normalize("NFKC") === "ff"}`);
}Resultado
2 1 d83d 1f600 de00 false fffd 1 2 false true false true
As duas primeiras linhas mostram um emoji com duas unidades de código, mas um só ponto de código. A terceira mostra a reparação após separar o par. A quarta compara duas representações de `é`, e a quinta distingue a normalização canónica da de compatibilidade.
Lições relacionadas
- JavaScript · Lição 3 · Avançado · Versão: 4
Fontes
- ECMAScript 2024 §6.1.4 — The String Type
- ECMAScript 2024 §22.1.3.3 — String.prototype.charCodeAt
- ECMAScript 2024 §22.1.3.4 — String.prototype.codePointAt
- ECMAScript 2024 §22.1.3.10 — String.prototype.isWellFormed
- ECMAScript 2024 §22.1.3.15 — String.prototype.normalize
- ECMAScript 2024 §22.1.3.31 — String.prototype.toWellFormed
- ECMAScript 2024 §22.1.3.36 — String.prototype [ @@iterator ]
- ECMAScript 2024 Internationalization API Specification §18 — Segmenter Objects