CKTIS / C++
Literal niza u8: kodne jedinice, kodne točke i grafemski skupovi
Prefiks `u8` odabire kodiranje UTF-8 za literal. Duljina u kodnim jedinicama, broj kodnih točaka i broj grafemskih skupova različite su mjere teksta.
Verzija: ISO C++23; implementation support may vary
Sintaksa
u8"text"
u8R"tag(raw text)tag"
// C++23: a view over the UTF-8 code units of a literal
#include <string_view>
constexpr std::u8string_view text = u8"e\u0301";u8"tekst" je literal znakovnog niza s kodiranjem UTF-8. Od C++20 to je nepromjenjivo polje tipa const char8_t[N] sa statičkim trajanjem pohrane; od C++11 do C++17 imalo je tip const char[N]. N uključuje dodanu završnu nultu jedinicu. Literal bez prefiksa koristi kodiranje običnih literala, koje ne mora biti UTF-8. U sirovom obliku u8R"tag(...)tag" obrnute kose crte ne započinju izlazne sekvence.
Kad se polje pretvori u pokazivač, rezultat je const char8_t*, a ne const char*. C++23 dopušta izravnu inicijalizaciju polja tipa char ili unsigned char literalom u8, ali ne uvodi implicitnu pretvorbu između tih tipova pokazivača. Podrška za taj ispravak može ovisiti o implementaciji. std::cout << u8"x" odabire obrisano preopterećenje. Prije predaje teksta sučelju koje prima const char* provjeri koje kodiranje očekuje.
std::u8string_view iz zaglavlja <string_view> ne posjeduje podatke. Pogled na literal može upućivati na njegovu pohranu tijekom cijelog rada programa. size() broji kodne jedinice u pogledu. Konstruktor koji prima samo pokazivač zaustavlja se prije prve nule; proslijedi pokazivač i duljinu želiš li zadržati unutarnje nule.
Kodna jedinica UTF-8 ima osam bitova. Kodna točka brojčana je vrijednost u kodnom prostoru Unicodea; UTF-8 kodira svaku skalarnu vrijednost (kodnu točku koja nije surogat) u jednoj do četiri jedinice. Prošireni grafemski skup okuplja jednu ili više kodnih točaka prema pravilima segmentacije Unicodea i približno odgovara znaku koji korisnik doživljava kao cjelinu. e iza kojeg slijedi kombinirajući akut U+0301 čine tri kodne jedinice, dvije kodne točke i jedan takav skup.
Samo za valjani UTF-8 možeš prebrojiti kodne točke brojanjem jedinica koje nisu nastavne (10xxxxxx). Da zadržiš prvih k točaka, završi prefiks na početku sljedeće točke ili na kraju podataka ako sljedeće nema. Rez na proizvoljnom indeksu jedinice može razdvojiti sekvencu UTF-8, a rez na granici kodnih točaka može razdvojiti skup. Ni to brojanje ni to skraćivanje ne provjerava valjanost UTF-8, ne normalizira tekst i ne određuje granice skupova. Čak i u8"\xFF" sadrži jedinicu koja nije valjana u UTF-8; provjeri nepouzdane ulazne podatke prije primjene ovog prečaca i zasebno segmentiraj tekst ako ga želiš skratiti po grafemskim skupovima.
Primjeri
#include <cstddef>
#include <iostream>
#include <string_view>
int main() {
constexpr auto& literal = u8"e\u0301";
constexpr std::u8string_view text{literal};
static_assert(sizeof(literal) == 4 && text.size() == 3);
std::size_t points = 0;
std::size_t first_end = text.size();
for (std::size_t i = 0; i < text.size(); ++i) {
if ((static_cast<unsigned>(text[i]) & 0xC0u) != 0x80u) {
++points;
if (points == 2) {
first_end = i;
}
}
}
const auto prefix = text.substr(0, first_end);
std::cout << "Code units: " << text.size() << '\n'
<< "Code points: " << points << '\n'
<< "First code point, code units: " << prefix.size() << '\n';
}
Rezultat
Code units: 3 Code points: 2 First code point, code units: 1
Program ispisuje brojeve, pa rezultat ne ovisi o tome može li terminal prikazati akut. Prefiks sadrži samo `e`: ostaje valjani UTF-8, ali bez akuta iz izvornog skupa. Program ne broji grafemske skupove.
Povezane lekcije
- C++ · Lekcija 49 · Napredno · Verzija: 3
Izvori
- String literals [lex.string]
- Character sets [lex.charset]
- Character arrays [dcl.init.string]
- Output streams — General [ostream.general]
- Header <string_view> synopsis [string.view.synop]
- basic_string_view construction and assignment [string.view.cons]
- basic_string_view capacity [string.view.capacity]
- Standard format specifiers [format.string.std] — reference to extended grapheme clusters
- N4950 — Working Draft, Standard for Programming Language C++
- N4606 — Working Draft, Standard for Programming Language C++
- P2728R7 — Unicode in the Library, Part 1: UTF Transcoding