CKTIS / C++
Reťazce a text: kódové jednotky, kódové body a grafémové zhluky
Reťazec v C++ ukladá prvky, nie hotové znaky viditeľné používateľovi. Zoznámte sa s rozdielom medzi kódovými jednotkami UTF-8, kódovými bodmi Unicode a grafémovými zhlukmi a s úlohou std::u8string a reťazcového literálu u8.
Verzia: C++23; repository compiler flag, production runtime not attested
Syntax
std::string text = "abc";
std::u8string utf8 = u8"e\u0301";std::string vlastní súvislú sekvenciu prvkov char; samotný typ nezaručuje UTF-8. std::u8string ukladá prvky char8_t určené pre kódové jednotky UTF-8. Ani jeden z týchto kontajnerov automaticky neoveruje platnosť textu Unicode. size() počíta uložené prvky a nezahŕňa koncový nulový terminátor.
Rozlišujte tri úrovne: kódové jednotky UTF-8 sú 8-bitové kódovacie jednotky; kódové body Unicode sú očíslované pozície v Unicode, napríklad U+0065; grafémové zhluky približujú znaky vnímané používateľom. Jedna skalárna hodnota Unicode zaberá jednu až štyri kódové jednotky UTF-8. Jeden zhluk môže obsahovať viacero kódových bodov: e nasledované U+0301, kombinujúcim ostrým prízvukom, tvorí jeden rozšírený grafémový zhluk, ale dva kódové body a tri kódové jednotky UTF-8.
V C++23 má reťazcový literál u8, napríklad u8"e\u0301", typ poľa s prvkami const char8_t a kódovaním UTF-8. Literál obsahuje koncový nulový prvok; std::u8string vytvorený z tohto literálu ho do size() nezapočítava. char8_t sa líši od char: týmto literálom nemožno priamo inicializovať std::string.
Indexovanie, iterácia a substr() pracujú s prvkami, nie s grafémovými zhlukmi. Rez vo vnútri viacjednotkovej sekvencie UTF-8 môže vytvoriť neplatné kódovanie, kým rez medzi kódovými bodmi môže rozdeliť zhluk. Operácie so znakmi vnímanými používateľom vyžadujú dekódovanie a segmentáciu Unicode; samotné size() nerobí ani jedno. Odkázaný dokument je priebežne sa vyvíjajúci pracovný návrh, nie definitívna publikácia C++23; príklad používa funkcie dostupné v C++23.
Príklady
#include <iostream>
#include <string>
int main() {
const std::u8string text = u8"e\u0301";
std::cout << "UTF-8 code units: " << text.size() << '\n';
std::cout << "Values:";
for (char8_t unit : text) {
std::cout << ' ' << static_cast<unsigned int>(unit);
}
std::cout << '\n';
}
Výsledok
UTF-8 code units: 3 Values: 101 204 129
Zobrazený kód a uvedený výsledok boli overené v izolovanom prostredí metódou zaznamenanou v dôkaze o overení tejto presnej verzie.