CKTIS / C++
Řetězce a text: kódové jednotky, kódové body a grafémové shluky
Řetězec v C++ ukládá prvky, nikoli hotové znaky viditelné uživateli. Seznamte se s rozdílem mezi kódovými jednotkami UTF-8, kódovými body Unicode a grafémovými shluky a s rolí std::u8string a řetězcového literálu u8.
Verze: C++23; repository compiler flag, production runtime not attested
Syntaxe
std::string text = "abc";
std::u8string utf8 = u8"e\u0301";std::string vlastní souvislou sekvenci prvků char; samotný typ nezaručuje UTF-8. std::u8string ukládá prvky char8_t určené pro kódové jednotky UTF-8. Ani jeden z těchto kontejnerů automaticky neověřuje platnost textu Unicode. size() počítá uložené prvky a nezahrnuje koncový nulový terminátor.
Rozlišujte tři úrovně: kódové jednotky UTF-8 jsou osmibitové kódovací jednotky; kódové body Unicode jsou očíslované pozice v Unicode, například U+0065; grafémové shluky přibližují znaky vnímané uživatelem. Jedna skalární hodnota Unicode zabírá jednu až čtyři kódové jednotky UTF-8. Jeden shluk může obsahovat několik kódových bodů: e následované U+0301, kombinujícím ostrým přízvukem, tvoří jeden rozšířený grafémový shluk, ale dva kódové body a tři kódové jednotky UTF-8.
V C++23 má řetězcový literál u8, například u8"e\u0301", typ pole s prvky const char8_t a kódováním UTF-8. Literál obsahuje koncový nulový prvek; std::u8string vytvořený z tohoto literálu jej do size() nezapočítává. char8_t se liší od char: tímto literálem nelze přímo inicializovat std::string.
Indexování, iterace a substr() pracují s prvky, nikoli s grafémovými shluky. Řez uvnitř vícejednotkové sekvence UTF-8 může vytvořit neplatné kódování, zatímco řez mezi kódovými body může rozdělit shluk. Operace se znaky vnímanými uživatelem vyžadují dekódování a segmentaci Unicode; samotné size() neprovádí ani jedno. Odkázaný dokument je průběžně se vyvíjející pracovní návrh, nikoli definitivní publikace C++23; příklad používá funkce dostupné v C++23.
Příklady
#include <iostream>
#include <string>
int main() {
const std::u8string text = u8"e\u0301";
std::cout << "UTF-8 code units: " << text.size() << '\n';
std::cout << "Values:";
for (char8_t unit : text) {
std::cout << ' ' << static_cast<unsigned int>(unit);
}
std::cout << '\n';
}
Výsledek
UTF-8 code units: 3 Values: 101 204 129
Zobrazený kód a uvedený výsledek byly ověřeny v izolovaném prostředí metodou zaznamenanou v dokladu o ověření této přesné verze.