CKTIS / C++
UTF-8 u C++-u: kodne jedinice, kodne točke i grafemski skupovi
Duljina teksta u UTF-8 ovisi o tome brojimo li kodne jedinice, kodne točke ili grafemske skupove. Primjer broji i skraćuje valjani UTF-8 bez presijecanja zapisa kodne točke.
Verzija: ISO C++23; implementation support may vary
Sintaksa
// u8"text" has type const char8_t[5]; the bound includes the terminating zero code unit.
std::u8string_view text = u8"text"; // <string_view>
text.size(); // number of code units in the view
text.substr(0, n); // prefix of up to n code units; no Unicode boundary checkKodna jedinica UTF-8 jedan je osmobitni oktet. Kodna točka brojčana je vrijednost u Unicodeu, primjerice U+0301. Svaka skalarna vrijednost Unicodea (kodna točka izvan raspona surogata) zauzima od jedne do četiri jedinice u valjanom UTF-8. Prošireni grafemski skup čini jedna ili više kodnih točaka povezanih prema pravilima segmentacije Unicodea (UAX #29). Približno odgovara onome što korisnik doživljava kao jedan znak, a ne širini njegova prikaza.
Od C++20 literal u8"..." ima tip const char8_t[N], pri čemu N uključuje završnu nultu jedinicu. Za razliku od običnog literala "...", pokazivač dobiven iz tog polja ne pretvara se implicitno u const char*. std::u8string_view iz <string_view> pogled je koji ne posjeduje podatke. size() broji kodne jedinice u pogledu, a konstruktor koji prima samo pokazivač staje kod prve nule. Za uključivanje unutarnjih nula navedi pokazivač i duljinu valjanog raspona. Literal postoji tijekom cijelog izvođenja programa; druga memorija na koju pogled upućuje mora ostati valjana dok se pogled koristi.
U valjanom UTF-8 svaka kodna točka počinje točno jednom jedinicom koja nije nastavna. Nastavne jedinice imaju bitovni uzorak 10xxxxxx. Zato je moguće brojiti početke bez dekodiranja vrijednosti. substr(0, n) reže po kodnim jedinicama i može presjeći slijed od više jedinica. Za najdulji prefiks unutar ograničenja pomiči mjesto reza unatrag dok pokazuje na nastavnu jedinicu, sve do granice kodne točke.
Brojanje i skraćivanje pretpostavljaju valjani UTF-8: ne provjeravaju kodiranje, ne normaliziraju tekst niti određuju grafemske granice. Najprije provjeri nepouzdan ulaz i odbaci neispravne podatke ili primijeni izričito pravilo zamjene. Za skraćivanje po znakovima kako ih korisnik doživljava koristi biblioteku koja provodi segmentaciju grafema u Unicodeu; C++23 za to nema općenamjenski API.
Primjeri
#include <cstddef>
#include <iostream>
#include <string_view>
constexpr bool is_continuation(char8_t unit) noexcept {
return (unit & 0xC0u) == 0x80u;
}
// Precondition: text is well-formed UTF-8.
constexpr std::size_t count_code_points(std::u8string_view text) noexcept {
std::size_t count = 0;
for (char8_t unit : text) {
if (!is_continuation(unit)) {
++count;
}
}
return count;
}
// Precondition: text is well-formed UTF-8.
constexpr std::u8string_view trim_to_unit_budget(
std::u8string_view text, std::size_t max_units) {
auto end = max_units < text.size() ? max_units : text.size();
while (end > 0 && end < text.size() && is_continuation(text[end])) {
--end;
}
return text.substr(0, end);
}
int main() {
constexpr std::u8string_view text = u8"e\u0301\U0001F642";
constexpr auto prefix = trim_to_unit_budget(text, 2);
static_assert(text.size() == 7);
static_assert(count_code_points(text) == 3);
static_assert(prefix == u8"e");
std::cout << "code_units: " << text.size() << '\n'
<< "code_points: " << count_code_points(text) << '\n'
<< "prefix_code_units: " << prefix.size() << '\n';
}Rezultat
code_units: 7 code_points: 3 prefix_code_units: 1
`e`, U+0301 i emoji U+1F642 zauzimaju redom 1, 2 i 4 jedinice: ukupno 7 kodnih jedinica, 3 kodne točke i 2 grafemska skupa. Ograničenje od 2 presjeklo bi zapis U+0301, pa funkcija zadržava samo `e`. Prefiks ostaje valjani UTF-8, ali gubi naglasak. Program ne računa broj skupova.
Povezane lekcije
- C++ · Lekcija 49 · Napredno · Verzija: 3
Izvori
- String literals [lex.string]
- Character sets [lex.charset]
- Compatibility with ISO C++ 2017: lexical conventions [diff.cpp17.lex]
- Header <string_view> synopsis [string.view.synop]
- Construction and assignment [string.view.cons]
- Capacity [string.view.capacity]
- String operations [string.view.ops]
- Standard format specifiers [format.string.std]
- N4950 — Working Draft, Standard for Programming Language C++
- Unicode Standard Annex #29: Unicode Text Segmentation