Base de conocimientosCentro de exámenes
ESEspañol
Elegir idioma13

CKTIS / C++

Literal de cadena u8: unidades de código, puntos de código y grupos de grafemas

El prefijo `u8` selecciona la codificación UTF-8 del literal. La longitud en unidades de código, el número de puntos de código y el de grupos de grafemas son medidas distintas.

Versión: ISO C++23; implementation support may vary

Sintaxis

u8"text"
u8R"tag(raw text)tag"

// C++23: a view over the UTF-8 code units of a literal
#include <string_view>
constexpr std::u8string_view text = u8"e\u0301";

u8"texto" es un literal de cadena cuya codificación es UTF-8. Desde C++20 es un arreglo no modificable de tipo const char8_t[N] con duración de almacenamiento estática; de C++11 a C++17 era const char[N]. N incluye la unidad nula que se añade al final. Un literal sin prefijo usa la codificación de los literales ordinarios, que no tiene por qué ser UTF-8. En la forma cruda u8R"tag(...)tag", las barras invertidas no inician secuencias de escape.

Al convertirse el arreglo en un puntero, se obtiene const char8_t*, no const char*. C++23 permite inicializar directamente arreglos de char o unsigned char con un literal u8, pero no introduce una conversión implícita entre estos tipos de puntero. La compatibilidad con esta corrección puede variar según la implementación. std::cout << u8"x" selecciona una sobrecarga eliminada. Antes de pasar texto a una interfaz que recibe const char*, comprueba qué codificación espera.

std::u8string_view, de <string_view>, no es propietario de sus datos. Una vista de un literal puede referirse a su almacenamiento durante toda la ejecución del programa. size() cuenta las unidades de código de la vista. El constructor que solo recibe un puntero se detiene antes del primer cero; pasa un puntero y una longitud para conservar ceros internos.

Una unidad de código UTF-8 tiene ocho bits. Un punto de código es un valor numérico en el espacio de códigos de Unicode; UTF-8 codifica cada valor escalar (un punto de código que no es un sustituto) en una a cuatro unidades. Un grupo de grafemas extendido reúne uno o más puntos de código según las reglas de segmentación de Unicode y aproxima lo que se percibe como un carácter. e seguido del acento agudo combinante U+0301 son tres unidades de código, dos puntos de código y un solo grupo de este tipo.

Solo si el UTF-8 es válido, se pueden contar los puntos de código contando las unidades que no son de continuación (10xxxxxx). Para conservar los primeros k puntos, termina el prefijo donde empieza el siguiente punto o al final de los datos si no hay otro. Cortar en un índice arbitrario de unidad puede dividir una secuencia UTF-8; cortar en un límite entre puntos puede dividir un grupo. Ni este recuento ni este recorte validan el UTF-8, normalizan el texto o localizan límites de grafemas. Incluso u8"\xFF" contiene una unidad no válida en UTF-8; valida las entradas no confiables antes de aplicar este atajo y segmenta el texto por separado si quieres recortar por grupos de grafemas.

Ejemplos

#include <cstddef>
#include <iostream>
#include <string_view>

int main() {
    constexpr auto& literal = u8"e\u0301";
    constexpr std::u8string_view text{literal};
    static_assert(sizeof(literal) == 4 && text.size() == 3);

    std::size_t points = 0;
    std::size_t first_end = text.size();
    for (std::size_t i = 0; i < text.size(); ++i) {
        if ((static_cast<unsigned>(text[i]) & 0xC0u) != 0x80u) {
            ++points;
            if (points == 2) {
                first_end = i;
            }
        }
    }

    const auto prefix = text.substr(0, first_end);
    std::cout << "Code units: " << text.size() << '\n'
              << "Code points: " << points << '\n'
              << "First code point, code units: " << prefix.size() << '\n';
}

Resultado

Code units: 3
Code points: 2
First code point, code units: 1

El programa imprime cantidades, así que el resultado no depende de si el terminal puede mostrar el acento. El prefijo contiene solo `e`: sigue siendo UTF-8 válido, pero pierde el acento del grupo original. El programa no calcula el número de grupos.

Lecciones relacionadas

  • C++ · Lección 49 · Avanzado · Versión: 3

Fuentes