CKTIS / C++
UTF-8 in C++: unità di codice, punti di codice e cluster di grafemi
La lunghezza del testo UTF-8 dipende da cosa si conta: unità di codice, punti di codice o cluster di grafemi. L’esempio conta e tronca UTF-8 ben formato senza spezzare un punto di codice.
Versione: ISO C++23; implementation support may vary
Sintassi
// u8"text" has type const char8_t[5]; the bound includes the terminating zero code unit.
std::u8string_view text = u8"text"; // <string_view>
text.size(); // number of code units in the view
text.substr(0, n); // prefix of up to n code units; no Unicode boundary checkUn’unità di codice UTF-8 è un ottetto di 8 bit. Un punto di codice è un valore numerico Unicode, per esempio U+0301. Ogni valore scalare Unicode (un punto di codice al di fuori dell’intervallo dei surrogati) occupa da una a quattro unità in UTF-8 ben formato. Un cluster di grafemi esteso raggruppa uno o più punti di codice secondo le regole di segmentazione Unicode (UAX #29). Corrisponde approssimativamente a un carattere percepito dall’utente, non a una larghezza di visualizzazione.
Da C++20 un letterale u8"..." ha tipo const char8_t[N], dove N comprende l’unità zero finale. A differenza di un letterale ordinario "...", il puntatore ottenuto dall’array non si converte implicitamente in const char*. std::u8string_view, definito in <string_view>, è una vista che non possiede i dati. size() conta le unità della vista e il costruttore con il solo puntatore si ferma al primo zero. Per includere zeri interni, passa un puntatore e la lunghezza di un intervallo valido. Il letterale esiste per tutta la durata del programma; qualsiasi altra memoria sottostante deve restare valida finché la vista viene usata.
In UTF-8 ben formato, ogni punto di codice inizia con esattamente un’unità che non è di continuazione. Le unità di continuazione hanno lo schema di bit 10xxxxxx. Si possono quindi contare gli inizi senza decodificare i valori. substr(0, n) taglia in base alle unità di codice e può spezzare una sequenza composta da più unità. Per ottenere il prefisso più lungo entro il limite, arretra finché la posizione di taglio indica un’unità di continuazione, fino al confine di un punto di codice.
Il conteggio e il troncamento presuppongono UTF-8 ben formato: non convalidano la codifica, non normalizzano il testo e non individuano i confini dei grafemi. Con input non attendibile, convalida prima i dati e rifiuta quelli malformati oppure applica una regola di sostituzione esplicita. Per troncare in base ai caratteri percepiti, usa una libreria che implementi la segmentazione dei grafemi Unicode; C++23 non fornisce un’API generica per questa operazione.
Esempi
#include <cstddef>
#include <iostream>
#include <string_view>
constexpr bool is_continuation(char8_t unit) noexcept {
return (unit & 0xC0u) == 0x80u;
}
// Precondition: text is well-formed UTF-8.
constexpr std::size_t count_code_points(std::u8string_view text) noexcept {
std::size_t count = 0;
for (char8_t unit : text) {
if (!is_continuation(unit)) {
++count;
}
}
return count;
}
// Precondition: text is well-formed UTF-8.
constexpr std::u8string_view trim_to_unit_budget(
std::u8string_view text, std::size_t max_units) {
auto end = max_units < text.size() ? max_units : text.size();
while (end > 0 && end < text.size() && is_continuation(text[end])) {
--end;
}
return text.substr(0, end);
}
int main() {
constexpr std::u8string_view text = u8"e\u0301\U0001F642";
constexpr auto prefix = trim_to_unit_budget(text, 2);
static_assert(text.size() == 7);
static_assert(count_code_points(text) == 3);
static_assert(prefix == u8"e");
std::cout << "code_units: " << text.size() << '\n'
<< "code_points: " << count_code_points(text) << '\n'
<< "prefix_code_units: " << prefix.size() << '\n';
}Risultato
code_units: 7 code_points: 3 prefix_code_units: 1
`e`, U+0301 e l’emoji U+1F642 occupano rispettivamente 1, 2 e 4 unità: in tutto 7 unità di codice, 3 punti di codice e 2 cluster di grafemi. Un limite di 2 taglierebbe nel mezzo della codifica di U+0301, quindi la funzione conserva solo `e`. Il prefisso è UTF-8 ben formato, ma perde l’accento. Il programma non calcola il numero di cluster.
Lezioni correlate
- C++ · Lezione 49 · Avanzato · Versione: 3
Fonti
- String literals [lex.string]
- Character sets [lex.charset]
- Compatibility with ISO C++ 2017: lexical conventions [diff.cpp17.lex]
- Header <string_view> synopsis [string.view.synop]
- Construction and assignment [string.view.cons]
- Capacity [string.view.capacity]
- String operations [string.view.ops]
- Standard format specifiers [format.string.std]
- N4950 — Working Draft, Standard for Programming Language C++
- Unicode Standard Annex #29: Unicode Text Segmentation