Znalostní bázeCentrum zkoušek
CSČeština
Vybrat jazyk13

CKTIS / C++

UTF-8 v C++: kódové jednotky, kódové body a grafémové shluky

Délka textu v UTF-8 závisí na tom, zda počítáme kódové jednotky, kódové body nebo grafémové shluky. Příklad ukazuje počítání a zkracování platného UTF-8 bez rozdělení kódového bodu.

Verze: ISO C++23; implementation support may vary

Syntaxe

// u8"text" has type const char8_t[5]; the bound includes the terminating zero code unit.
std::u8string_view text = u8"text";  // <string_view>
text.size();       // number of code units in the view
text.substr(0, n); // prefix of up to n code units; no Unicode boundary check

Kódová jednotka UTF-8 je osmibitový oktet. Kódový bod je číselná hodnota v Unicode, například U+0301. Každá skalární hodnota Unicode (kódový bod mimo rozsah náhradních hodnot) zabírá v platném UTF-8 jednu až čtyři jednotky. Rozšířený grafémový shluk tvoří jeden či více kódových bodů seskupených podle pravidel segmentace Unicode (UAX #29). Přibližně odpovídá jednomu znaku vnímanému uživatelem, nikoli jeho šířce při zobrazení.

Od C++20 má literál u8"..." typ const char8_t[N]; N zahrnuje koncovou nulovou jednotku. Na rozdíl od běžného literálu "..." se ukazatel získaný z tohoto pole implicitně nepřevádí na const char*. std::u8string_view z <string_view> je pohled, který data nevlastní. size() počítá jednotky v pohledu a konstruktor s pouhým ukazatelem se zastaví u první nuly. Chceš-li zahrnout i vnitřní nuly, použij ukazatel a délku platného rozsahu. Literál existuje po celou dobu běhu programu; jiná podkladová paměť musí zůstat platná po dobu používání pohledu.

V platném UTF-8 každý kódový bod začíná právě jednou jednotkou, která není pokračovací. Pokračovací jednotky mají bitový vzor 10xxxxxx. Začátky lze proto počítat bez dekódování hodnot. substr(0, n) řeže podle jednotek a může rozdělit vícejednotkovou sekvenci. Chceš-li nejdelší prefix v daném limitu, posouvej místo řezu zpět, dokud ukazuje na pokračovací jednotku, až k hranici kódového bodu.

Počítání i zkracování předpokládají platné UTF-8: neověřují kódování, nenormalizují text ani neurčují hranice grafémů. Nedůvěryhodný vstup nejdřív ověř a chybně kódovaná data odmítni nebo použij výslovně stanovené pravidlo náhrady. Ke zkracování podle vnímaných znaků použij knihovnu se segmentací grafémů Unicode; C++23 pro ni neposkytuje obecné API.

Příklady

#include <cstddef>
#include <iostream>
#include <string_view>

constexpr bool is_continuation(char8_t unit) noexcept {
    return (unit & 0xC0u) == 0x80u;
}

// Precondition: text is well-formed UTF-8.
constexpr std::size_t count_code_points(std::u8string_view text) noexcept {
    std::size_t count = 0;
    for (char8_t unit : text) {
        if (!is_continuation(unit)) {
            ++count;
        }
    }
    return count;
}

// Precondition: text is well-formed UTF-8.
constexpr std::u8string_view trim_to_unit_budget(
    std::u8string_view text, std::size_t max_units) {
    auto end = max_units < text.size() ? max_units : text.size();
    while (end > 0 && end < text.size() && is_continuation(text[end])) {
        --end;
    }
    return text.substr(0, end);
}

int main() {
    constexpr std::u8string_view text = u8"e\u0301\U0001F642";
    constexpr auto prefix = trim_to_unit_budget(text, 2);
    static_assert(text.size() == 7);
    static_assert(count_code_points(text) == 3);
    static_assert(prefix == u8"e");

    std::cout << "code_units: " << text.size() << '\n'
              << "code_points: " << count_code_points(text) << '\n'
              << "prefix_code_units: " << prefix.size() << '\n';
}

Výsledek

code_units: 7
code_points: 3
prefix_code_units: 1

`e`, U+0301 a emoji U+1F642 zabírají postupně 1, 2 a 4 jednotky: celkem 7 kódových jednotek, 3 kódové body a 2 grafémové shluky. Limit 2 by vedl k řezu uvnitř kódování U+0301, proto funkce zachová pouze `e`. Prefix zůstává platným UTF-8, ale ztratí čárku. Program počet shluků nepočítá.

Související lekce

  • C++ · Lekce 49 · Pokročilá · Verze: 3

Zdroje