Baza znanjaCentar za ispite
HRHrvatski
Odaberi jezik13

CKTIS / C++

Nizovi i tekst: kodne jedinice, kodne točke i grafemski sklopovi

Niz u C++-u pohranjuje elemente, a ne gotove znakove vidljive korisniku. Upoznajte razliku između UTF-8 kodnih jedinica, Unicode kodnih točaka i grafemskih sklopova te ulogu std::u8string i znakovnog literala u8.

Verzija: C++23; repository compiler flag, production runtime not attested

Sintaksa

std::string text = "abc";
std::u8string utf8 = u8"e\u0301";

std::string posjeduje neprekinuti niz elemenata char; sam tip ne jamči UTF-8. std::u8string pohranjuje elemente char8_t namijenjene UTF-8 kodnim jedinicama. Nijedan od tih spremnika automatski ne provjerava valjanost Unicode teksta. size() broji pohranjene elemente, ne uključujući završni nulti terminator.

Razlikujte tri razine: UTF-8 kodne jedinice jesu 8-bitne jedinice kodiranja; Unicode kodne točke numerirani su položaji u Unicodeu, primjerice U+0065; grafemski sklopovi približno odgovaraju znakovima koje korisnik doživljava. Jedna Unicode skalarna vrijednost zauzima od jedne do četiri UTF-8 kodne jedinice. Jedan sklop može sadržavati više kodnih točaka: e iza kojeg slijedi U+0301, kombinirajući akut, tvori jedan prošireni grafemski sklop, ali dvije kodne točke i tri UTF-8 kodne jedinice.

U C++23 znakovni literal u8, primjerice u8"e\u0301", ima tip polja s elementima const char8_t i kodiranje UTF-8. Literal uključuje završni nulti element; std::u8string konstruiran iz tog literala ne broji ga u size(). char8_t razlikuje se od char: taj literal ne može izravno inicijalizirati std::string.

Indeksiranje, iteracija i substr() rade s elementima, a ne s grafemskim sklopovima. Rez unutar višejediničnog UTF-8 niza može proizvesti nevaljano kodiranje, dok rez između kodnih točaka može razdvojiti sklop. Za operacije nad znakovima koje korisnik doživljava potrebno je Unicode dekodiranje i segmentacija; sam size() ne obavlja ni jedno ni drugo. Povezani je dokument radni nacrt koji se razvija, a ne konačna objava C++23; primjer koristi značajke dostupne u C++23.

Primjeri

#include <iostream>
#include <string>

int main() {
    const std::u8string text = u8"e\u0301";
    std::cout << "UTF-8 code units: " << text.size() << '\n';
    std::cout << "Values:";
    for (char8_t unit : text) {
        std::cout << ' ' << static_cast<unsigned int>(unit);
    }
    std::cout << '\n';
}

Rezultat

UTF-8 code units: 3
Values: 101 204 129

Prikazani kôd i navedeni rezultat provjereni su u izoliranom okruženju metodom zabilježenom u dokazu provjere za ovu točnu verziju.

Izvori