Znalostná bázaCentrum skúšok
SKSlovenčina
Vybrať jazyk13

CKTIS / C++

Reťazcový literál u8: kódové jednotky, kódové body a grafémové zhluky

Predpona `u8` určuje kódovanie UTF-8 pre reťazcový literál. Dĺžka v kódových jednotkách, počet kódových bodov a počet grafémových zhlukov sú rôzne miery.

Verzia: ISO C++23; implementation support may vary

Syntax

u8"text"
u8R"tag(raw text)tag"

// C++23: a view over the UTF-8 code units of a literal
#include <string_view>
constexpr std::u8string_view text = u8"e\u0301";

u8"text" je reťazcový literál s kódovaním UTF-8. Od C++20 je to nemodifikovateľné pole const char8_t[N] so statickou dobou uloženia; v C++11 až C++17 malo typ const char[N]. N zahŕňa pridanú koncovú nulovú jednotku. Literál bez predpony používa kódovanie obyčajných literálov, ktoré nemusí byť UTF-8. V surovom tvare u8R"tag(...)tag" spätné lomky nezačínajú únikové sekvencie.

Pri konverzii poľa na ukazovateľ vznikne const char8_t*, nie const char*. C++23 umožňuje priamo inicializovať polia typu char alebo unsigned char literálom u8, ale nezavádza implicitnú konverziu medzi týmito typmi ukazovateľov. Podpora tejto opravy sa môže líšiť podľa implementácie. std::cout << u8"x" vyberie odstránené preťaženie. Pred odovzdaním textu rozhraniu, ktoré prijíma const char*, over, aké kódovanie očakáva.

std::u8string_view z hlavičky <string_view> údaje nevlastní. Pohľad na literál môže odkazovať na jeho úložisko počas celého behu programu. size() počíta kódové jednotky v pohľade. Konštruktor s jediným argumentom typu ukazovateľ sa zastaví pred prvou nulou; ak chceš zachovať vnútorné nuly, odovzdaj ukazovateľ aj dĺžku.

Kódová jednotka UTF-8 má osem bitov. Kódový bod je číselná hodnota v kódovom priestore Unicode; UTF-8 kóduje každú skalárnu hodnotu (kódový bod mimo oblasti surogátov) jednou až štyrmi jednotkami. Rozšírený grafémový zhluk zoskupuje jeden alebo viac kódových bodov podľa pravidiel segmentácie Unicode a približne zodpovedá znaku, ktorý vníma používateľ. e, za ktorým nasleduje kombinujúci dĺžeň U+0301, tvorí tri kódové jednotky, dva kódové body a jeden taký zhluk.

Len pri platnom UTF-8 možno body spočítať ako počet jednotiek, ktoré nie sú pokračovacie (10xxxxxx). Ak chceš ponechať prvých k bodov, ukonči predponu na začiatku nasledujúceho bodu alebo na konci údajov, ak ďalší bod nie je. Rez na ľubovoľnom indexe jednotky môže rozdeliť sekvenciu UTF-8; rez na hranici bodu môže rozdeliť zhluk. Ani toto počítanie, ani toto skracovanie neoveruje platnosť UTF-8, nenormalizuje text ani neurčuje hranice zhlukov. Dokonca aj u8"\xFF" obsahuje jednotku neplatnú v UTF-8. Pred použitím tejto skratky over údaje z nedôveryhodného zdroja a pri skracovaní podľa grafémových zhlukov segmentuj text samostatne.

Príklady

#include <cstddef>
#include <iostream>
#include <string_view>

int main() {
    constexpr auto& literal = u8"e\u0301";
    constexpr std::u8string_view text{literal};
    static_assert(sizeof(literal) == 4 && text.size() == 3);

    std::size_t points = 0;
    std::size_t first_end = text.size();
    for (std::size_t i = 0; i < text.size(); ++i) {
        if ((static_cast<unsigned>(text[i]) & 0xC0u) != 0x80u) {
            ++points;
            if (points == 2) {
                first_end = i;
            }
        }
    }

    const auto prefix = text.substr(0, first_end);
    std::cout << "Code units: " << text.size() << '\n'
              << "Code points: " << points << '\n'
              << "First code point, code units: " << prefix.size() << '\n';
}

Výsledok

Code units: 3
Code points: 2
First code point, code units: 1

Program vypisuje počty, takže výsledok nezávisí od toho, či terminál dokáže zobraziť dĺžeň. Predpona obsahuje iba `e`: zostáva platným UTF-8, ale už bez dĺžňa z pôvodného zhluku. Program grafémové zhluky nepočíta.

Súvisiace lekcie

  • C++ · Lekcia 49 · Pokročilá · Verzia: 3

Zdroje