Znalostní bázeCentrum zkoušek
CSČeština
Vybrat jazyk13

CKTIS / C++

Řetězcový literál u8: kódové jednotky, kódové body a grafémové shluky

Předpona `u8` určuje kódování UTF-8 pro řetězcový literál. Délka v kódových jednotkách, počet kódových bodů a počet grafémových shluků jsou různé míry.

Verze: ISO C++23; implementation support may vary

Syntaxe

u8"text"
u8R"tag(raw text)tag"

// C++23: a view over the UTF-8 code units of a literal
#include <string_view>
constexpr std::u8string_view text = u8"e\u0301";

u8"text" je řetězcový literál s kódováním UTF-8. Od C++20 jde o nemodifikovatelné pole const char8_t[N] se statickou dobou uložení; v C++11 až C++17 mělo typ const char[N]. Do N se započítává přidaná koncová nulová jednotka. Literál bez předpony používá kódování běžných literálů, které nemusí být UTF-8. V syrové podobě u8R"tag(...)tag" zpětná lomítka nezahajují únikové sekvence.

Při převodu pole na ukazatel vznikne const char8_t*, nikoli const char*. C++23 umožňuje přímo inicializovat pole typu char nebo unsigned char literálem u8, ale nezavádí implicitní převod mezi těmito typy ukazatelů. Podpora této opravy se může lišit podle implementace. std::cout << u8"x" vybere odstraněné přetížení. Před předáním textu rozhraní, které přijímá const char*, zjisti, jaké kódování očekává.

std::u8string_view z hlavičky <string_view> data nevlastní. Pohled na literál může odkazovat na jeho úložiště po celou dobu běhu programu. size() počítá kódové jednotky v pohledu. Konstruktor s pouhým ukazatelem se zastaví před první nulou; chceš-li zachovat vnitřní nuly, předej ukazatel i délku.

Kódová jednotka UTF-8 má osm bitů. Kódový bod je číselná hodnota v kódovém prostoru Unicode; UTF-8 kóduje každou skalární hodnotu (kódový bod mimo oblast surogátů) jednou až čtyřmi jednotkami. Rozšířený grafémový shluk seskupuje jeden či více kódových bodů podle pravidel segmentace Unicode a přibližně odpovídá znaku vnímanému uživatelem. e následované kombinující čárkou U+0301 tvoří tři kódové jednotky, dva kódové body a jeden takový shluk.

Pouze u platného UTF-8 lze body spočítat jako počet jednotek, které nejsou pokračovací (10xxxxxx). Chceš-li ponechat prvních k bodů, ukonči předponu na začátku dalšího bodu, případně na konci dat, pokud další bod není. Řez na libovolném indexu jednotky může rozdělit sekvenci UTF-8; řez na hranici bodu může rozdělit shluk. Ani tento výpočet, ani toto zkrácení neověřuje platnost UTF-8, nenormalizuje text ani nehledá hranice shluků. I u8"\xFF" obsahuje jednotku neplatnou v UTF-8. Před použitím této zkratky ověř nedůvěryhodný vstup a pro zkracování podle grafémových shluků proveď samostatnou segmentaci textu.

Příklady

#include <cstddef>
#include <iostream>
#include <string_view>

int main() {
    constexpr auto& literal = u8"e\u0301";
    constexpr std::u8string_view text{literal};
    static_assert(sizeof(literal) == 4 && text.size() == 3);

    std::size_t points = 0;
    std::size_t first_end = text.size();
    for (std::size_t i = 0; i < text.size(); ++i) {
        if ((static_cast<unsigned>(text[i]) & 0xC0u) != 0x80u) {
            ++points;
            if (points == 2) {
                first_end = i;
            }
        }
    }

    const auto prefix = text.substr(0, first_end);
    std::cout << "Code units: " << text.size() << '\n'
              << "Code points: " << points << '\n'
              << "First code point, code units: " << prefix.size() << '\n';
}

Výsledek

Code units: 3
Code points: 2
First code point, code units: 1

Program vypisuje počty, takže výsledek nezávisí na tom, zda terminál umí zobrazit čárku. Předpona obsahuje pouze `e`: zůstává platným UTF-8, ale přijde o čárku z původního shluku. Program grafémové shluky nepočítá.

Související lekce

  • C++ · Lekce 49 · Pokročilá · Verze: 3

Zdroje