CKTIS / C++
UTF-8 em C++: unidades de código, pontos de código e grupos de grafemas
O comprimento de um texto UTF-8 depende do que se conta: unidades de código, pontos de código ou grupos de grafemas. O exemplo conta e trunca UTF-8 bem formado sem dividir um ponto de código.
Versão: ISO C++23; implementation support may vary
Sintaxe
// u8"text" has type const char8_t[5]; the bound includes the terminating zero code unit.
std::u8string_view text = u8"text"; // <string_view>
text.size(); // number of code units in the view
text.substr(0, n); // prefix of up to n code units; no Unicode boundary checkUma unidade de código UTF-8 é um octeto de 8 bits. Um ponto de código é um valor numérico Unicode, como U+0301. Cada valor escalar Unicode (um ponto de código fora do intervalo reservado aos substitutos) ocupa de uma a quatro unidades em UTF-8 bem formado. Um grupo de grafemas estendido reúne um ou mais pontos de código segundo as regras de segmentação Unicode (UAX #29). Aproxima aquilo que o utilizador percebe como um carácter, não a largura de apresentação.
Desde C++20, um literal u8"..." tem o tipo const char8_t[N], onde N inclui a unidade zero final. Ao contrário do que acontece com um literal comum "...", o apontador obtido do array não se converte implicitamente em const char*. std::u8string_view, de <string_view>, é uma vista que não é proprietária dos dados. size() conta as unidades de código da vista e o construtor que só recebe um apontador para no primeiro zero. Para incluir zeros internos, passa o apontador e o comprimento de um intervalo válido. Um literal existe durante toda a execução do programa; qualquer outro armazenamento tem de permanecer válido enquanto a vista for usada.
Em UTF-8 bem formado, cada ponto de código começa com exatamente uma unidade que não é de continuação. As unidades de continuação têm o padrão 10xxxxxx. Assim, é possível contar os inícios sem descodificar os valores. substr(0, n) corta por unidades de código e pode dividir uma sequência de várias unidades. Para manter o prefixo mais longo dentro do limite de unidades, recua enquanto a posição de corte indicar uma unidade de continuação, até atingires uma fronteira de ponto de código.
A contagem e o truncamento pressupõem UTF-8 bem formado: não validam a codificação, não normalizam o texto e não detetam fronteiras de grafemas. Se os dados de entrada não forem de confiança, valida-os primeiro e rejeita dados malformados ou aplica uma política explícita de substituição. Para truncar por caracteres percebidos pelo utilizador, usa uma biblioteca com segmentação de grafemas Unicode; C++23 não disponibiliza uma API genérica para esse fim.
Exemplos
#include <cstddef>
#include <iostream>
#include <string_view>
constexpr bool is_continuation(char8_t unit) noexcept {
return (unit & 0xC0u) == 0x80u;
}
// Precondition: text is well-formed UTF-8.
constexpr std::size_t count_code_points(std::u8string_view text) noexcept {
std::size_t count = 0;
for (char8_t unit : text) {
if (!is_continuation(unit)) {
++count;
}
}
return count;
}
// Precondition: text is well-formed UTF-8.
constexpr std::u8string_view trim_to_unit_budget(
std::u8string_view text, std::size_t max_units) {
auto end = max_units < text.size() ? max_units : text.size();
while (end > 0 && end < text.size() && is_continuation(text[end])) {
--end;
}
return text.substr(0, end);
}
int main() {
constexpr std::u8string_view text = u8"e\u0301\U0001F642";
constexpr auto prefix = trim_to_unit_budget(text, 2);
static_assert(text.size() == 7);
static_assert(count_code_points(text) == 3);
static_assert(prefix == u8"e");
std::cout << "code_units: " << text.size() << '\n'
<< "code_points: " << count_code_points(text) << '\n'
<< "prefix_code_units: " << prefix.size() << '\n';
}Resultado
code_units: 7 code_points: 3 prefix_code_units: 1
`e`, U+0301 e o emoji U+1F642 ocupam 1, 2 e 4 unidades, respetivamente: ao todo, 7 unidades de código, 3 pontos de código e 2 grupos de grafemas. Um limite de 2 cortaria a codificação de U+0301 a meio, pelo que a função mantém apenas `e`. O prefixo continua a ser UTF-8 bem formado, mas perde o acento. O programa não calcula o número de grupos.
Lições relacionadas
- C++ · Lição 49 · Avançado · Versão: 3
Fontes
- String literals [lex.string]
- Character sets [lex.charset]
- Compatibility with ISO C++ 2017: lexical conventions [diff.cpp17.lex]
- Header <string_view> synopsis [string.view.synop]
- Construction and assignment [string.view.cons]
- Capacity [string.view.capacity]
- String operations [string.view.ops]
- Standard format specifiers [format.string.std]
- N4950 — Working Draft, Standard for Programming Language C++
- Unicode Standard Annex #29: Unicode Text Segmentation