Znalostní bázeCentrum zkoušek
CSČeština
Vybrat jazyk13

CKTIS / C++

Řetězce a text: kódové jednotky, kódové body a grafémové shluky

Řetězec v C++ ukládá prvky, nikoli hotové znaky viditelné uživateli. Seznamte se s rozdílem mezi kódovými jednotkami UTF-8, kódovými body Unicode a grafémovými shluky a s rolí std::u8string a řetězcového literálu u8.

Verze: C++23; repository compiler flag, production runtime not attested

Syntaxe

std::string text = "abc";
std::u8string utf8 = u8"e\u0301";

std::string vlastní souvislou sekvenci prvků char; samotný typ nezaručuje UTF-8. std::u8string ukládá prvky char8_t určené pro kódové jednotky UTF-8. Ani jeden z těchto kontejnerů automaticky neověřuje platnost textu Unicode. size() počítá uložené prvky a nezahrnuje koncový nulový terminátor.

Rozlišujte tři úrovně: kódové jednotky UTF-8 jsou osmibitové kódovací jednotky; kódové body Unicode jsou očíslované pozice v Unicode, například U+0065; grafémové shluky přibližují znaky vnímané uživatelem. Jedna skalární hodnota Unicode zabírá jednu až čtyři kódové jednotky UTF-8. Jeden shluk může obsahovat několik kódových bodů: e následované U+0301, kombinujícím ostrým přízvukem, tvoří jeden rozšířený grafémový shluk, ale dva kódové body a tři kódové jednotky UTF-8.

V C++23 má řetězcový literál u8, například u8"e\u0301", typ pole s prvky const char8_t a kódováním UTF-8. Literál obsahuje koncový nulový prvek; std::u8string vytvořený z tohoto literálu jej do size() nezapočítává. char8_t se liší od char: tímto literálem nelze přímo inicializovat std::string.

Indexování, iterace a substr() pracují s prvky, nikoli s grafémovými shluky. Řez uvnitř vícejednotkové sekvence UTF-8 může vytvořit neplatné kódování, zatímco řez mezi kódovými body může rozdělit shluk. Operace se znaky vnímanými uživatelem vyžadují dekódování a segmentaci Unicode; samotné size() neprovádí ani jedno. Odkázaný dokument je průběžně se vyvíjející pracovní návrh, nikoli definitivní publikace C++23; příklad používá funkce dostupné v C++23.

Příklady

#include <iostream>
#include <string>

int main() {
    const std::u8string text = u8"e\u0301";
    std::cout << "UTF-8 code units: " << text.size() << '\n';
    std::cout << "Values:";
    for (char8_t unit : text) {
        std::cout << ' ' << static_cast<unsigned int>(unit);
    }
    std::cout << '\n';
}

Výsledek

UTF-8 code units: 3
Values: 101 204 129

Zobrazený kód a uvedený výsledek byly ověřeny v izolovaném prostředí metodou zaznamenanou v dokladu o ověření této přesné verze.

Zdroje