CKTIS / C++
Literal de cadena u8: unidades de código, puntos de código y grupos de grafemas
El prefijo `u8` selecciona la codificación UTF-8 del literal. La longitud en unidades de código, el número de puntos de código y el de grupos de grafemas son medidas distintas.
Versión: ISO C++23; implementation support may vary
Sintaxis
u8"text"
u8R"tag(raw text)tag"
// C++23: a view over the UTF-8 code units of a literal
#include <string_view>
constexpr std::u8string_view text = u8"e\u0301";u8"texto" es un literal de cadena cuya codificación es UTF-8. Desde C++20 es un arreglo no modificable de tipo const char8_t[N] con duración de almacenamiento estática; de C++11 a C++17 era const char[N]. N incluye la unidad nula que se añade al final. Un literal sin prefijo usa la codificación de los literales ordinarios, que no tiene por qué ser UTF-8. En la forma cruda u8R"tag(...)tag", las barras invertidas no inician secuencias de escape.
Al convertirse el arreglo en un puntero, se obtiene const char8_t*, no const char*. C++23 permite inicializar directamente arreglos de char o unsigned char con un literal u8, pero no introduce una conversión implícita entre estos tipos de puntero. La compatibilidad con esta corrección puede variar según la implementación. std::cout << u8"x" selecciona una sobrecarga eliminada. Antes de pasar texto a una interfaz que recibe const char*, comprueba qué codificación espera.
std::u8string_view, de <string_view>, no es propietario de sus datos. Una vista de un literal puede referirse a su almacenamiento durante toda la ejecución del programa. size() cuenta las unidades de código de la vista. El constructor que solo recibe un puntero se detiene antes del primer cero; pasa un puntero y una longitud para conservar ceros internos.
Una unidad de código UTF-8 tiene ocho bits. Un punto de código es un valor numérico en el espacio de códigos de Unicode; UTF-8 codifica cada valor escalar (un punto de código que no es un sustituto) en una a cuatro unidades. Un grupo de grafemas extendido reúne uno o más puntos de código según las reglas de segmentación de Unicode y aproxima lo que se percibe como un carácter. e seguido del acento agudo combinante U+0301 son tres unidades de código, dos puntos de código y un solo grupo de este tipo.
Solo si el UTF-8 es válido, se pueden contar los puntos de código contando las unidades que no son de continuación (10xxxxxx). Para conservar los primeros k puntos, termina el prefijo donde empieza el siguiente punto o al final de los datos si no hay otro. Cortar en un índice arbitrario de unidad puede dividir una secuencia UTF-8; cortar en un límite entre puntos puede dividir un grupo. Ni este recuento ni este recorte validan el UTF-8, normalizan el texto o localizan límites de grafemas. Incluso u8"\xFF" contiene una unidad no válida en UTF-8; valida las entradas no confiables antes de aplicar este atajo y segmenta el texto por separado si quieres recortar por grupos de grafemas.
Ejemplos
#include <cstddef>
#include <iostream>
#include <string_view>
int main() {
constexpr auto& literal = u8"e\u0301";
constexpr std::u8string_view text{literal};
static_assert(sizeof(literal) == 4 && text.size() == 3);
std::size_t points = 0;
std::size_t first_end = text.size();
for (std::size_t i = 0; i < text.size(); ++i) {
if ((static_cast<unsigned>(text[i]) & 0xC0u) != 0x80u) {
++points;
if (points == 2) {
first_end = i;
}
}
}
const auto prefix = text.substr(0, first_end);
std::cout << "Code units: " << text.size() << '\n'
<< "Code points: " << points << '\n'
<< "First code point, code units: " << prefix.size() << '\n';
}
Resultado
Code units: 3 Code points: 2 First code point, code units: 1
El programa imprime cantidades, así que el resultado no depende de si el terminal puede mostrar el acento. El prefijo contiene solo `e`: sigue siendo UTF-8 válido, pero pierde el acento del grupo original. El programa no calcula el número de grupos.
Lecciones relacionadas
- C++ · Lección 49 · Avanzado · Versión: 3
Fuentes
- String literals [lex.string]
- Character sets [lex.charset]
- Character arrays [dcl.init.string]
- Output streams — General [ostream.general]
- Header <string_view> synopsis [string.view.synop]
- basic_string_view construction and assignment [string.view.cons]
- basic_string_view capacity [string.view.capacity]
- Standard format specifiers [format.string.std] — reference to extended grapheme clusters
- N4950 — Working Draft, Standard for Programming Language C++
- N4606 — Working Draft, Standard for Programming Language C++
- P2728R7 — Unicode in the Library, Part 1: UTF Transcoding