CKTIS / C++
Stringhe e testo: unità di codice, punti di codice e cluster grafemici
Una stringa C++ memorizza elementi, non caratteri già pronti per essere visualizzati dall’utente. Scopri la differenza tra unità di codice UTF-8, punti di codice Unicode e cluster grafemici, e il ruolo di std::u8string e dei letterali stringa u8.
Versione: C++23; repository compiler flag, production runtime not attested
Sintassi
std::string text = "abc";
std::u8string utf8 = u8"e\u0301";std::string possiede una sequenza contigua di elementi char; il tipo, da solo, non garantisce UTF-8. std::u8string memorizza elementi char8_t destinati alle unità di codice UTF-8. Nessuno dei due contenitori verifica automaticamente la validità del testo Unicode. size() conta gli elementi memorizzati, escludendo il terminatore zero finale.
Distingui tre livelli: le unità di codice UTF-8 sono unità di codifica a 8 bit; i punti di codice Unicode sono posizioni numerate in Unicode, come U+0065; i cluster grafemici approssimano i caratteri percepiti dall’utente. Un valore scalare Unicode occupa da una a quattro unità di codice UTF-8. Un cluster può contenere più punti di codice: e seguita da U+0301, l’accento acuto combinante, forma un cluster grafemico esteso, ma due punti di codice e tre unità di codice UTF-8.
In C++23, un letterale stringa u8, come u8"e\u0301", ha un tipo array con elementi const char8_t e codifica UTF-8. Il letterale include un elemento zero finale; un std::u8string costruito da questo letterale non lo conta in size(). char8_t è distinto da char: questo letterale non può inizializzare direttamente un std::string.
Indicizzazione, iterazione e substr() operano sugli elementi, non sui cluster grafemici. Un taglio all’interno di una sequenza UTF-8 di più unità può produrre una codifica non valida, mentre un taglio tra punti di codice può dividere un cluster. Per operare sui caratteri percepiti dall’utente servono decodifica e segmentazione Unicode; size() da solo non esegue né l’una né l’altra. Il documento collegato è una bozza di lavoro in evoluzione, non una pubblicazione C++23 definitiva; l’esempio usa funzionalità disponibili in C++23.
Esempi
#include <iostream>
#include <string>
int main() {
const std::u8string text = u8"e\u0301";
std::cout << "UTF-8 code units: " << text.size() << '\n';
std::cout << "Values:";
for (char8_t unit : text) {
std::cout << ' ' << static_cast<unsigned int>(unit);
}
std::cout << '\n';
}
Risultato
UTF-8 code units: 3 Values: 101 204 129
Il codice mostrato e il risultato dichiarato sono stati verificati in un ambiente isolato con il metodo registrato nella prova di verifica di questa versione esatta.