CKTIS / C++
Strings e texto: unidades de código, pontos de código e agrupamentos grafémicos
Uma string C++ armazena elementos, não caracteres prontos a serem vistos pelo utilizador. Aprende a distinguir unidades de código UTF-8, pontos de código Unicode e agrupamentos grafémicos, e a compreender o papel de std::u8string e de um literal de string u8.
Versão: C++23; repository compiler flag, production runtime not attested
Sintaxe
std::string text = "abc";
std::u8string utf8 = u8"e\u0301";std::string possui uma sequência contígua de elementos char; o seu tipo, por si só, não garante UTF-8. std::u8string armazena elementos char8_t destinados a unidades de código UTF-8. Nenhum dos contentores valida automaticamente texto Unicode. size() conta os elementos armazenados, excluindo o terminador zero final.
Distingue três níveis: as unidades de código UTF-8 são unidades de codificação de 8 bits; os pontos de código Unicode são posições numeradas em Unicode, como U+0065; os agrupamentos grafémicos aproximam os caracteres percecionados pelo utilizador. Um valor escalar Unicode ocupa entre uma e quatro unidades de código UTF-8. Um agrupamento pode conter vários pontos de código: e seguido de U+0301, o acento agudo combinante, forma um agrupamento grafémico alargado, mas dois pontos de código e três unidades de código UTF-8.
Em C++23, um literal de string u8, como u8"e\u0301", tem um tipo de array com elementos const char8_t e codificação UTF-8. O literal inclui um elemento zero final; um std::u8string construído a partir deste literal não o conta em size(). char8_t é distinto de char: este literal não pode inicializar diretamente um std::string.
A indexação, a iteração e substr() operam sobre elementos, não sobre agrupamentos grafémicos. Um corte no interior de uma sequência UTF-8 com várias unidades pode produzir uma codificação inválida, enquanto um corte entre pontos de código pode separar um agrupamento. As operações sobre caracteres percecionados pelo utilizador requerem descodificação e segmentação Unicode; size() por si só não realiza nenhuma delas. O documento ligado é um projeto de trabalho em evolução, não uma publicação C++23 definitiva; o exemplo utiliza funcionalidades disponíveis em C++23.
Exemplos
#include <iostream>
#include <string>
int main() {
const std::u8string text = u8"e\u0301";
std::cout << "UTF-8 code units: " << text.size() << '\n';
std::cout << "Values:";
for (char8_t unit : text) {
std::cout << ' ' << static_cast<unsigned int>(unit);
}
std::cout << '\n';
}
Resultado
UTF-8 code units: 3 Values: 101 204 129
O código apresentado e o resultado declarado foram verificados num ambiente isolado pelo método registado na prova de verificação desta versão exata.