CKTIS / C++
Letterale di stringa u8: unità di codice, punti di codice e cluster grafemici
Il prefisso `u8` seleziona la codifica UTF-8 del letterale. Lunghezza in unità di codice, numero di punti di codice e numero di cluster grafemici sono misure diverse.
Versione: ISO C++23; implementation support may vary
Sintassi
u8"text"
u8R"tag(raw text)tag"
// C++23: a view over the UTF-8 code units of a literal
#include <string_view>
constexpr std::u8string_view text = u8"e\u0301";u8"testo" è un letterale di stringa con codifica UTF-8. Da C++20 è un array non modificabile di tipo const char8_t[N] con durata di memorizzazione statica; da C++11 a C++17 era di tipo const char[N]. N include l’unità nulla aggiunta in coda. Un letterale senza prefisso usa la codifica dei letterali ordinari, che non è necessariamente UTF-8. Nella forma grezza u8R"tag(...)tag", le barre inverse non introducono sequenze di escape.
Quando l’array decade a puntatore, si ottiene const char8_t*, non const char*. C++23 consente di inizializzare direttamente array di char o unsigned char con un letterale u8, senza introdurre una conversione implicita tra questi tipi di puntatore. Il supporto di questa correzione può variare a seconda dell’implementazione. std::cout << u8"x" seleziona un overload eliminato. Prima di passare il testo a un’interfaccia che accetta const char*, controlla quale codifica si aspetta.
std::u8string_view, dichiarato in <string_view>, non possiede i dati. Una vista su un letterale può riferirsi alla sua memoria per tutta la durata del programma. size() conta le unità di codice presenti nella vista. Il costruttore che riceve solo un puntatore si ferma prima del primo zero; passa un puntatore e una lunghezza per conservare gli zeri interni.
Un’unità di codice UTF-8 ha otto bit. Un punto di codice è un valore numerico nello spazio dei codici Unicode; UTF-8 codifica ogni valore scalare (un punto di codice che non sia un surrogato) in una-quattro unità. Un cluster grafemico esteso raggruppa uno o più punti di codice secondo le regole di segmentazione Unicode e approssima ciò che si percepisce come un carattere. e seguito dall’accento acuto combinante U+0301 forma tre unità di codice, due punti di codice e un solo cluster di questo tipo.
Solo se l’UTF-8 è valido si possono contare i punti di codice contando le unità che non sono di continuazione (10xxxxxx). Per conservare i primi k punti, termina il prefisso all’inizio del punto successivo o alla fine dei dati se non ce n’è un altro. Tagliare a un indice arbitrario di unità di codice può spezzare una sequenza UTF-8; tagliare al confine tra punti può spezzare un cluster. Né il conteggio né questo troncamento convalidano l’UTF-8, normalizzano il testo o individuano i confini dei cluster. Anche u8"\xFF" contiene un’unità non valida in UTF-8: convalida i dati non fidati prima di usare questa scorciatoia e segmenta il testo separatamente se vuoi troncare per cluster grafemici.
Esempi
#include <cstddef>
#include <iostream>
#include <string_view>
int main() {
constexpr auto& literal = u8"e\u0301";
constexpr std::u8string_view text{literal};
static_assert(sizeof(literal) == 4 && text.size() == 3);
std::size_t points = 0;
std::size_t first_end = text.size();
for (std::size_t i = 0; i < text.size(); ++i) {
if ((static_cast<unsigned>(text[i]) & 0xC0u) != 0x80u) {
++points;
if (points == 2) {
first_end = i;
}
}
}
const auto prefix = text.substr(0, first_end);
std::cout << "Code units: " << text.size() << '\n'
<< "Code points: " << points << '\n'
<< "First code point, code units: " << prefix.size() << '\n';
}
Risultato
Code units: 3 Code points: 2 First code point, code units: 1
Il programma stampa conteggi: il risultato non dipende dalla capacità del terminale di mostrare l’accento. Il prefisso contiene solo `e`: rimane UTF-8 valido ma perde l’accento del cluster originale. Il programma non conta i cluster grafemici.
Lezioni correlate
- C++ · Lezione 49 · Avanzato · Versione: 3
Fonti
- String literals [lex.string]
- Character sets [lex.charset]
- Character arrays [dcl.init.string]
- Output streams — General [ostream.general]
- Header <string_view> synopsis [string.view.synop]
- basic_string_view construction and assignment [string.view.cons]
- basic_string_view capacity [string.view.capacity]
- Standard format specifiers [format.string.std] — reference to extended grapheme clusters
- N4950 — Working Draft, Standard for Programming Language C++
- N4606 — Working Draft, Standard for Programming Language C++
- P2728R7 — Unicode in the Library, Part 1: UTF Transcoding