Baza znanjaIzpitno središče
SLSlovenščina
Izberi jezik13

CKTIS / C++

Nizi in besedilo: kodne enote, kodne točke in grafemski sklopi

Niz v C++ shranjuje elemente, ne pa že pripravljenih znakov, ki jih vidi uporabnik. Spoznajte razliko med kodnimi enotami UTF-8, kodnimi točkami Unicode in grafemskimi sklopi ter vlogo std::u8string in nizovnega literala u8.

Različica: C++23; repository compiler flag, production runtime not attested

Sintaksa

std::string text = "abc";
std::u8string utf8 = u8"e\u0301";

std::string ima v lasti zvezno zaporedje elementov char; sam tip ne zagotavlja UTF-8. std::u8string shranjuje elemente char8_t, namenjene kodnim enotam UTF-8. Noben od teh vsebnikov samodejno ne preverja veljavnosti besedila Unicode. size() šteje shranjene elemente, ne vključuje pa zaključnega ničelnega terminatorja.

Razlikujte tri ravni: kodne enote UTF-8 so 8-bitne kodirne enote; kodne točke Unicode so oštevilčeni položaji v Unicode, na primer U+0065; grafemski sklopi približujejo znake, kot jih zaznava uporabnik. Ena skalarna vrednost Unicode zavzame od ene do štirih kodnih enot UTF-8. En sklop lahko vsebuje več kodnih točk: e, ki mu sledi U+0301, kombinirajoči ostrivec, tvori en razširjeni grafemski sklop, vendar dve kodni točki in tri kodne enote UTF-8.

V C++23 ima nizovni literal u8, na primer u8"e\u0301", tip polja z elementi const char8_t in kodiranjem UTF-8. Literal vsebuje zaključni ničelni element; std::u8string, ustvarjen iz tega literala, ga ne šteje v size(). char8_t se razlikuje od char: s tem literalom ni mogoče neposredno inicializirati std::string.

Indeksiranje, iteracija in substr() delujejo nad elementi, ne nad grafemskimi sklopi. Rez znotraj večdelnega zaporedja UTF-8 lahko ustvari neveljavno kodiranje, rez med kodnimi točkami pa lahko razdeli sklop. Za operacije nad znaki, ki jih zaznava uporabnik, sta potrebna dekodiranje in segmentacija Unicode; sam size() ne izvede ne enega ne drugega. Povezani dokument je razvijajoči se delovni osnutek, ne dokončna objava C++23; primer uporablja funkcionalnosti, ki so na voljo v C++23.

Primeri

#include <iostream>
#include <string>

int main() {
    const std::u8string text = u8"e\u0301";
    std::cout << "UTF-8 code units: " << text.size() << '\n';
    std::cout << "Values:";
    for (char8_t unit : text) {
        std::cout << ' ' << static_cast<unsigned int>(unit);
    }
    std::cout << '\n';
}

Rezultat

UTF-8 code units: 3
Values: 101 204 129

Prikazana koda in navedeni rezultat sta bila preverjena v izoliranem okolju z metodo, zapisano v dokazilu o preverjanju te natančne različice.

Viri