Baza znanjaIzpitno središče
SLSlovenščina
Izberi jezik13

CKTIS / C++

Nizovni literal u8: kodne enote, kodne točke in grafemski sklopi

Predpona `u8` za nizovni literal izbere kodiranje UTF-8. Dolžina v kodnih enotah, število kodnih točk in število grafemskih sklopov so različne mere.

Različica: ISO C++23; implementation support may vary

Sintaksa

u8"text"
u8R"tag(raw text)tag"

// C++23: a view over the UTF-8 code units of a literal
#include <string_view>
constexpr std::u8string_view text = u8"e\u0301";

u8"besedilo" je nizovni literal s kodiranjem UTF-8. Od C++20 je to nespremenljivo polje tipa const char8_t[N] s statičnim trajanjem shrambe; od C++11 do C++17 je imelo tip const char[N]. N vključuje dodano končno ničelno enoto. Literal brez predpone uporablja kodiranje navadnih literalov, ki ni nujno UTF-8. V surovi obliki u8R"tag(...)tag" poševnice nazaj ne uvajajo ubežnih zaporedij.

Ko se polje pretvori v kazalec, dobimo const char8_t* in ne const char*. C++23 omogoča neposredno inicializacijo polj tipa char ali unsigned char z literalom u8, vendar ne uvaja implicitne pretvorbe med tema tipoma kazalcev. Podpora za ta popravek je odvisna od implementacije. std::cout << u8"x" izbere izbrisano preobremenitev. Preden podaš besedilo vmesniku, ki sprejema const char*, preveri, katero kodiranje pričakuje.

std::u8string_view iz <string_view> ni lastnik podatkov. Pogled na literal se lahko sklicuje na njegovo shrambo ves čas izvajanja programa. size() prešteje kodne enote v pogledu. Konstruktor, ki sprejme samo kazalec, se ustavi pred prvo ničlo; za ohranitev notranjih ničel podaj kazalec in dolžino.

Kodna enota UTF-8 ima osem bitov. Kodna točka je številska vrednost v kodnem prostoru Unicode; UTF-8 vsako skalarno vrednost (kodno točko, ki ni nadomestna kodna točka) kodira z eno do štirimi enotami. Razširjeni grafemski sklop združuje eno ali več kodnih točk po pravilih segmentacije Unicode in je približek znaka, kot ga zazna uporabnik. e, ki mu sledi kombinirajoči ostrivec U+0301, tvori tri kodne enote, dve kodni točki in en tak sklop.

Samo pri veljavnem UTF-8 lahko kodne točke prešteješ tako, da šteješ enote, ki niso nadaljevalne (10xxxxxx). Če želiš obdržati prvih k točk, končaj predpono na začetku naslednje točke ali na koncu podatkov, če naslednje ni. Rez na poljubnem indeksu kodne enote lahko razdeli zaporedje UTF-8; rez na meji kodnih točk lahko razdeli sklop. Niti to štetje niti to krajšanje ne preverja veljavnosti UTF-8, ne normalizira besedila in ne določa meja sklopov. Tudi u8"\xFF" vsebuje enoto, ki v UTF-8 ni veljavna. Pred uporabo te bližnjice preveri nezaupanja vredne podatke in besedilo ločeno segmentiraj, če ga želiš krajšati po grafemskih sklopih.

Primeri

#include <cstddef>
#include <iostream>
#include <string_view>

int main() {
    constexpr auto& literal = u8"e\u0301";
    constexpr std::u8string_view text{literal};
    static_assert(sizeof(literal) == 4 && text.size() == 3);

    std::size_t points = 0;
    std::size_t first_end = text.size();
    for (std::size_t i = 0; i < text.size(); ++i) {
        if ((static_cast<unsigned>(text[i]) & 0xC0u) != 0x80u) {
            ++points;
            if (points == 2) {
                first_end = i;
            }
        }
    }

    const auto prefix = text.substr(0, first_end);
    std::cout << "Code units: " << text.size() << '\n'
              << "Code points: " << points << '\n'
              << "First code point, code units: " << prefix.size() << '\n';
}

Rezultat

Code units: 3
Code points: 2
First code point, code units: 1

Program izpiše števila, zato rezultat ni odvisen od tega, ali terminal zna prikazati ostrivec. Predpona vsebuje samo `e`: ostane veljaven UTF-8, vendar brez ostrivca iz prvotnega sklopa. Program ne šteje grafemskih sklopov.

Povezane lekcije

  • C++ · Lekcija 49 · Napredna · Različica: 3

Viri