CKTIS / C++
Nizovi i tekst: kodne jedinice, kodne točke i grafemski sklopovi
Niz u C++-u pohranjuje elemente, a ne gotove znakove vidljive korisniku. Upoznajte razliku između UTF-8 kodnih jedinica, Unicode kodnih točaka i grafemskih sklopova te ulogu std::u8string i znakovnog literala u8.
Verzija: C++23; repository compiler flag, production runtime not attested
Sintaksa
std::string text = "abc";
std::u8string utf8 = u8"e\u0301";std::string posjeduje neprekinuti niz elemenata char; sam tip ne jamči UTF-8. std::u8string pohranjuje elemente char8_t namijenjene UTF-8 kodnim jedinicama. Nijedan od tih spremnika automatski ne provjerava valjanost Unicode teksta. size() broji pohranjene elemente, ne uključujući završni nulti terminator.
Razlikujte tri razine: UTF-8 kodne jedinice jesu 8-bitne jedinice kodiranja; Unicode kodne točke numerirani su položaji u Unicodeu, primjerice U+0065; grafemski sklopovi približno odgovaraju znakovima koje korisnik doživljava. Jedna Unicode skalarna vrijednost zauzima od jedne do četiri UTF-8 kodne jedinice. Jedan sklop može sadržavati više kodnih točaka: e iza kojeg slijedi U+0301, kombinirajući akut, tvori jedan prošireni grafemski sklop, ali dvije kodne točke i tri UTF-8 kodne jedinice.
U C++23 znakovni literal u8, primjerice u8"e\u0301", ima tip polja s elementima const char8_t i kodiranje UTF-8. Literal uključuje završni nulti element; std::u8string konstruiran iz tog literala ne broji ga u size(). char8_t razlikuje se od char: taj literal ne može izravno inicijalizirati std::string.
Indeksiranje, iteracija i substr() rade s elementima, a ne s grafemskim sklopovima. Rez unutar višejediničnog UTF-8 niza može proizvesti nevaljano kodiranje, dok rez između kodnih točaka može razdvojiti sklop. Za operacije nad znakovima koje korisnik doživljava potrebno je Unicode dekodiranje i segmentacija; sam size() ne obavlja ni jedno ni drugo. Povezani je dokument radni nacrt koji se razvija, a ne konačna objava C++23; primjer koristi značajke dostupne u C++23.
Primjeri
#include <iostream>
#include <string>
int main() {
const std::u8string text = u8"e\u0301";
std::cout << "UTF-8 code units: " << text.size() << '\n';
std::cout << "Values:";
for (char8_t unit : text) {
std::cout << ' ' << static_cast<unsigned int>(unit);
}
std::cout << '\n';
}
Rezultat
UTF-8 code units: 3 Values: 101 204 129
Prikazani kôd i navedeni rezultat provjereni su u izoliranom okruženju metodom zabilježenom u dokazu provjere za ovu točnu verziju.