Base de conhecimentoCentro de Exames
PT · PTPortuguês (Portugal)
Escolher idioma13

CKTIS / JavaScript

Pontos de código Unicode e grupos de grafemas

O JavaScript mede o comprimento de uma cadeia em unidades de código UTF-16, percorre-a por pontos de código e encontra os limites dos grupos de grafemas com `Intl.Segmenter`.

Versão: ECMAScript 2024 and the current web platform; runtime support varies

Sintaxe

text.length
text[i]
[...text]
new Intl.Segmenter(locale, { granularity: "grapheme" }).segment(text)

Um ponto de código Unicode é um valor numérico, como U+0065 para e. Em texto UTF-16 bem formado, um valor escalar Unicode ocupa uma ou duas unidades de código de 16 bits. Em JavaScript, text.length conta unidades de código, e text[i] e text.slice() usam índices nessas unidades. Um corte num desses índices pode separar um par de substituição.

[...text] e for...of usam o iterador da cadeia. O iterador mantém juntos os pares de substituição válidos, devolve separadamente uma unidade de substituição isolada e não reúne os pontos de código em grupos de grafemas. Um grupo de grafemas é uma sequência de um ou mais pontos de código que corresponde aproximadamente a um carácter tal como é percecionado pelo utilizador. Por exemplo, e seguido do acento agudo combinante U+0301 forma um único grupo.

Para contar os caracteres percecionados ou truncar texto sem cortar dentro de um grupo, usa Intl.Segmenter com { granularity: "grapheme" }. O método segment(text) devolve um iterável cujos elementos incluem o texto segment e o respetivo índice inicial index, contado a partir de zero em unidades de código UTF-16. Podes passar esse índice diretamente a slice().

Verifica se Intl.Segmenter está disponível no ambiente de execução de destino. Os limites podem variar consoante a implementação e as definições regionais. Se a API não estiver disponível, não substituas a segmentação em grafemas pela iteração por pontos de código: são operações diferentes.

Exemplos

{
  if (typeof globalThis.Intl?.Segmenter !== "function") {
    throw new Error("Intl.Segmenter is required for this example.");
  }

  const text = "e\u0301\u{1F600}";
  const segmenter = new Intl.Segmenter("en", { granularity: "grapheme" });
  const graphemes = [...segmenter.segment(text)];

  console.log(`UTF-16 code units: ${text.length}`);
  console.log(`Code points: ${[...text].length}`);
  console.log(`Grapheme clusters: ${graphemes.length}`);
  console.log(`Segment start offsets: ${graphemes.map(({ index }) => index).join(", ")}`);
}

Resultado

UTF-16 code units: 4
Code points: 3
Grapheme clusters: 2
Segment start offsets: 0, 2

`e` e o acento combinante formam o primeiro grupo. O emoji forma o segundo, começa no índice `2` e ocupa duas unidades de código. As contagens esperadas são 4 unidades de código, 3 pontos de código e 2 grupos.

Lições relacionadas

  • JavaScript · Lição 15 · Avançado · Versão: 4

Fontes