Base de conhecimentoCentro de Exames
PT · PTPortuguês (Portugal)
Escolher idioma13

CKTIS / C++

Literal de cadeia u8: unidades de código, pontos de código e grupos de grafemas

O prefixo `u8` seleciona a codificação UTF-8 do literal. O comprimento em unidades de código, o número de pontos de código e o número de grupos de grafemas são medidas distintas.

Versão: ISO C++23; implementation support may vary

Sintaxe

u8"text"
u8R"tag(raw text)tag"

// C++23: a view over the UTF-8 code units of a literal
#include <string_view>
constexpr std::u8string_view text = u8"e\u0301";

u8"texto" é um literal de cadeia com codificação UTF-8. Desde C++20 é um array não modificável de tipo const char8_t[N], com duração de armazenamento estática; de C++11 a C++17 era const char[N]. N inclui a unidade nula acrescentada no fim. Um literal sem prefixo usa a codificação dos literais comuns, que não tem de ser UTF-8. Na forma bruta u8R"tag(...)tag", as barras invertidas não iniciam sequências de escape.

Quando o array é convertido num ponteiro, o resultado é const char8_t*, não const char*. C++23 permite inicializar diretamente arrays de char ou de unsigned char com um literal u8, mas não introduz uma conversão implícita entre estes tipos de ponteiro. O suporte desta correção pode variar consoante a implementação. std::cout << u8"x" seleciona uma sobrecarga eliminada. Antes de passar texto a uma interface que recebe const char*, verifica que codificação é esperada.

std::u8string_view, de <string_view>, não é proprietário dos dados. Uma vista sobre um literal pode referenciar a sua memória durante toda a execução do programa. size() conta as unidades de código na vista. O construtor que recebe apenas um ponteiro termina antes do primeiro zero; passa um ponteiro e um comprimento para preservar zeros internos.

Uma unidade de código UTF-8 tem oito bits. Um ponto de código é um valor numérico no espaço de códigos Unicode; UTF-8 codifica cada valor escalar (um ponto de código que não seja um substituto) em uma a quatro unidades. Um grupo de grafemas estendido junta um ou mais pontos de código segundo as regras de segmentação Unicode e aproxima o que se perceciona como um carácter. e seguido do acento agudo combinante U+0301 forma três unidades de código, dois pontos de código e um único grupo deste tipo.

Só em UTF-8 válido se podem contar os pontos de código contando as unidades que não são de continuação (10xxxxxx). Para manter os primeiros k pontos, termina o prefixo no início do ponto seguinte ou no fim dos dados se não houver outro. Cortar num índice arbitrário de unidade pode separar uma sequência UTF-8; cortar no limite entre pontos pode separar um grupo. Nem esta contagem nem este corte validam UTF-8, normalizam o texto ou detetam limites de grupos. Até u8"\xFF" contém uma unidade inválida em UTF-8: valida dados de origem não fiável antes de usar este atalho e segmenta o texto separadamente se quiseres cortar por grupos de grafemas.

Exemplos

#include <cstddef>
#include <iostream>
#include <string_view>

int main() {
    constexpr auto& literal = u8"e\u0301";
    constexpr std::u8string_view text{literal};
    static_assert(sizeof(literal) == 4 && text.size() == 3);

    std::size_t points = 0;
    std::size_t first_end = text.size();
    for (std::size_t i = 0; i < text.size(); ++i) {
        if ((static_cast<unsigned>(text[i]) & 0xC0u) != 0x80u) {
            ++points;
            if (points == 2) {
                first_end = i;
            }
        }
    }

    const auto prefix = text.substr(0, first_end);
    std::cout << "Code units: " << text.size() << '\n'
              << "Code points: " << points << '\n'
              << "First code point, code units: " << prefix.size() << '\n';
}

Resultado

Code units: 3
Code points: 2
First code point, code units: 1

O programa apresenta contagens, pelo que o resultado não depende de o terminal conseguir mostrar o acento. O prefixo contém apenas `e`: continua a ser UTF-8 válido, mas perde o acento do grupo original. O programa não conta os grupos de grafemas.

Lições relacionadas

  • C++ · Lição 49 · Avançado · Versão: 3

Fontes