Baza znanjaCentar za ispite
HRHrvatski
Odaberi jezik13

CKTIS / C++

Literal niza u8: kodne jedinice, kodne točke i grafemski skupovi

Prefiks `u8` odabire kodiranje UTF-8 za literal. Duljina u kodnim jedinicama, broj kodnih točaka i broj grafemskih skupova različite su mjere teksta.

Verzija: ISO C++23; implementation support may vary

Sintaksa

u8"text"
u8R"tag(raw text)tag"

// C++23: a view over the UTF-8 code units of a literal
#include <string_view>
constexpr std::u8string_view text = u8"e\u0301";

u8"tekst" je literal znakovnog niza s kodiranjem UTF-8. Od C++20 to je nepromjenjivo polje tipa const char8_t[N] sa statičkim trajanjem pohrane; od C++11 do C++17 imalo je tip const char[N]. N uključuje dodanu završnu nultu jedinicu. Literal bez prefiksa koristi kodiranje običnih literala, koje ne mora biti UTF-8. U sirovom obliku u8R"tag(...)tag" obrnute kose crte ne započinju izlazne sekvence.

Kad se polje pretvori u pokazivač, rezultat je const char8_t*, a ne const char*. C++23 dopušta izravnu inicijalizaciju polja tipa char ili unsigned char literalom u8, ali ne uvodi implicitnu pretvorbu između tih tipova pokazivača. Podrška za taj ispravak može ovisiti o implementaciji. std::cout << u8"x" odabire obrisano preopterećenje. Prije predaje teksta sučelju koje prima const char* provjeri koje kodiranje očekuje.

std::u8string_view iz zaglavlja <string_view> ne posjeduje podatke. Pogled na literal može upućivati na njegovu pohranu tijekom cijelog rada programa. size() broji kodne jedinice u pogledu. Konstruktor koji prima samo pokazivač zaustavlja se prije prve nule; proslijedi pokazivač i duljinu želiš li zadržati unutarnje nule.

Kodna jedinica UTF-8 ima osam bitova. Kodna točka brojčana je vrijednost u kodnom prostoru Unicodea; UTF-8 kodira svaku skalarnu vrijednost (kodnu točku koja nije surogat) u jednoj do četiri jedinice. Prošireni grafemski skup okuplja jednu ili više kodnih točaka prema pravilima segmentacije Unicodea i približno odgovara znaku koji korisnik doživljava kao cjelinu. e iza kojeg slijedi kombinirajući akut U+0301 čine tri kodne jedinice, dvije kodne točke i jedan takav skup.

Samo za valjani UTF-8 možeš prebrojiti kodne točke brojanjem jedinica koje nisu nastavne (10xxxxxx). Da zadržiš prvih k točaka, završi prefiks na početku sljedeće točke ili na kraju podataka ako sljedeće nema. Rez na proizvoljnom indeksu jedinice može razdvojiti sekvencu UTF-8, a rez na granici kodnih točaka može razdvojiti skup. Ni to brojanje ni to skraćivanje ne provjerava valjanost UTF-8, ne normalizira tekst i ne određuje granice skupova. Čak i u8"\xFF" sadrži jedinicu koja nije valjana u UTF-8; provjeri nepouzdane ulazne podatke prije primjene ovog prečaca i zasebno segmentiraj tekst ako ga želiš skratiti po grafemskim skupovima.

Primjeri

#include <cstddef>
#include <iostream>
#include <string_view>

int main() {
    constexpr auto& literal = u8"e\u0301";
    constexpr std::u8string_view text{literal};
    static_assert(sizeof(literal) == 4 && text.size() == 3);

    std::size_t points = 0;
    std::size_t first_end = text.size();
    for (std::size_t i = 0; i < text.size(); ++i) {
        if ((static_cast<unsigned>(text[i]) & 0xC0u) != 0x80u) {
            ++points;
            if (points == 2) {
                first_end = i;
            }
        }
    }

    const auto prefix = text.substr(0, first_end);
    std::cout << "Code units: " << text.size() << '\n'
              << "Code points: " << points << '\n'
              << "First code point, code units: " << prefix.size() << '\n';
}

Rezultat

Code units: 3
Code points: 2
First code point, code units: 1

Program ispisuje brojeve, pa rezultat ne ovisi o tome može li terminal prikazati akut. Prefiks sadrži samo `e`: ostaje valjani UTF-8, ali bez akuta iz izvornog skupa. Program ne broji grafemske skupove.

Povezane lekcije

  • C++ · Lekcija 49 · Napredno · Verzija: 3

Izvori