CKTIS / JavaScript
Pontos de código Unicode e grupos de grafemas
O JavaScript mede o comprimento de uma cadeia em unidades de código UTF-16, percorre-a por pontos de código e encontra os limites dos grupos de grafemas com `Intl.Segmenter`.
Versão: ECMAScript 2024 and the current web platform; runtime support varies
Sintaxe
text.length
text[i]
[...text]
new Intl.Segmenter(locale, { granularity: "grapheme" }).segment(text)Um ponto de código Unicode é um valor numérico, como U+0065 para e. Em texto UTF-16 bem formado, um valor escalar Unicode ocupa uma ou duas unidades de código de 16 bits. Em JavaScript, text.length conta unidades de código, e text[i] e text.slice() usam índices nessas unidades. Um corte num desses índices pode separar um par de substituição.
[...text] e for...of usam o iterador da cadeia. O iterador mantém juntos os pares de substituição válidos, devolve separadamente uma unidade de substituição isolada e não reúne os pontos de código em grupos de grafemas. Um grupo de grafemas é uma sequência de um ou mais pontos de código que corresponde aproximadamente a um carácter tal como é percecionado pelo utilizador. Por exemplo, e seguido do acento agudo combinante U+0301 forma um único grupo.
Para contar os caracteres percecionados ou truncar texto sem cortar dentro de um grupo, usa Intl.Segmenter com { granularity: "grapheme" }. O método segment(text) devolve um iterável cujos elementos incluem o texto segment e o respetivo índice inicial index, contado a partir de zero em unidades de código UTF-16. Podes passar esse índice diretamente a slice().
Verifica se Intl.Segmenter está disponível no ambiente de execução de destino. Os limites podem variar consoante a implementação e as definições regionais. Se a API não estiver disponível, não substituas a segmentação em grafemas pela iteração por pontos de código: são operações diferentes.
Exemplos
{
if (typeof globalThis.Intl?.Segmenter !== "function") {
throw new Error("Intl.Segmenter is required for this example.");
}
const text = "e\u0301\u{1F600}";
const segmenter = new Intl.Segmenter("en", { granularity: "grapheme" });
const graphemes = [...segmenter.segment(text)];
console.log(`UTF-16 code units: ${text.length}`);
console.log(`Code points: ${[...text].length}`);
console.log(`Grapheme clusters: ${graphemes.length}`);
console.log(`Segment start offsets: ${graphemes.map(({ index }) => index).join(", ")}`);
}Resultado
UTF-16 code units: 4 Code points: 3 Grapheme clusters: 2 Segment start offsets: 0, 2
`e` e o acento combinante formam o primeiro grupo. O emoji forma o segundo, começa no índice `2` e ocupa duas unidades de código. As contagens esperadas são 4 unidades de código, 3 pontos de código e 2 grupos.
Lições relacionadas
- JavaScript · Lição 15 · Avançado · Versão: 4
Fontes
- ECMAScript 2024 Language Specification — The String Type
- ECMAScript 2024 Language Specification — String.prototype [ @@iterator ]
- ECMAScript 2024 Internationalization API Specification — Intl.Segmenter.prototype.segment
- ECMAScript 2024 Internationalization API Specification — CreateSegmentDataObject
- ECMAScript 2024 Internationalization API Specification — FindBoundary
- MDN — Intl.Segmenter