CKTIS / C++
Reťazcový literál u8: kódové jednotky, kódové body a grafémové zhluky
Predpona `u8` určuje kódovanie UTF-8 pre reťazcový literál. Dĺžka v kódových jednotkách, počet kódových bodov a počet grafémových zhlukov sú rôzne miery.
Verzia: ISO C++23; implementation support may vary
Syntax
u8"text"
u8R"tag(raw text)tag"
// C++23: a view over the UTF-8 code units of a literal
#include <string_view>
constexpr std::u8string_view text = u8"e\u0301";u8"text" je reťazcový literál s kódovaním UTF-8. Od C++20 je to nemodifikovateľné pole const char8_t[N] so statickou dobou uloženia; v C++11 až C++17 malo typ const char[N]. N zahŕňa pridanú koncovú nulovú jednotku. Literál bez predpony používa kódovanie obyčajných literálov, ktoré nemusí byť UTF-8. V surovom tvare u8R"tag(...)tag" spätné lomky nezačínajú únikové sekvencie.
Pri konverzii poľa na ukazovateľ vznikne const char8_t*, nie const char*. C++23 umožňuje priamo inicializovať polia typu char alebo unsigned char literálom u8, ale nezavádza implicitnú konverziu medzi týmito typmi ukazovateľov. Podpora tejto opravy sa môže líšiť podľa implementácie. std::cout << u8"x" vyberie odstránené preťaženie. Pred odovzdaním textu rozhraniu, ktoré prijíma const char*, over, aké kódovanie očakáva.
std::u8string_view z hlavičky <string_view> údaje nevlastní. Pohľad na literál môže odkazovať na jeho úložisko počas celého behu programu. size() počíta kódové jednotky v pohľade. Konštruktor s jediným argumentom typu ukazovateľ sa zastaví pred prvou nulou; ak chceš zachovať vnútorné nuly, odovzdaj ukazovateľ aj dĺžku.
Kódová jednotka UTF-8 má osem bitov. Kódový bod je číselná hodnota v kódovom priestore Unicode; UTF-8 kóduje každú skalárnu hodnotu (kódový bod mimo oblasti surogátov) jednou až štyrmi jednotkami. Rozšírený grafémový zhluk zoskupuje jeden alebo viac kódových bodov podľa pravidiel segmentácie Unicode a približne zodpovedá znaku, ktorý vníma používateľ. e, za ktorým nasleduje kombinujúci dĺžeň U+0301, tvorí tri kódové jednotky, dva kódové body a jeden taký zhluk.
Len pri platnom UTF-8 možno body spočítať ako počet jednotiek, ktoré nie sú pokračovacie (10xxxxxx). Ak chceš ponechať prvých k bodov, ukonči predponu na začiatku nasledujúceho bodu alebo na konci údajov, ak ďalší bod nie je. Rez na ľubovoľnom indexe jednotky môže rozdeliť sekvenciu UTF-8; rez na hranici bodu môže rozdeliť zhluk. Ani toto počítanie, ani toto skracovanie neoveruje platnosť UTF-8, nenormalizuje text ani neurčuje hranice zhlukov. Dokonca aj u8"\xFF" obsahuje jednotku neplatnú v UTF-8. Pred použitím tejto skratky over údaje z nedôveryhodného zdroja a pri skracovaní podľa grafémových zhlukov segmentuj text samostatne.
Príklady
#include <cstddef>
#include <iostream>
#include <string_view>
int main() {
constexpr auto& literal = u8"e\u0301";
constexpr std::u8string_view text{literal};
static_assert(sizeof(literal) == 4 && text.size() == 3);
std::size_t points = 0;
std::size_t first_end = text.size();
for (std::size_t i = 0; i < text.size(); ++i) {
if ((static_cast<unsigned>(text[i]) & 0xC0u) != 0x80u) {
++points;
if (points == 2) {
first_end = i;
}
}
}
const auto prefix = text.substr(0, first_end);
std::cout << "Code units: " << text.size() << '\n'
<< "Code points: " << points << '\n'
<< "First code point, code units: " << prefix.size() << '\n';
}
Výsledok
Code units: 3 Code points: 2 First code point, code units: 1
Program vypisuje počty, takže výsledok nezávisí od toho, či terminál dokáže zobraziť dĺžeň. Predpona obsahuje iba `e`: zostáva platným UTF-8, ale už bez dĺžňa z pôvodného zhluku. Program grafémové zhluky nepočíta.
Súvisiace lekcie
- C++ · Lekcia 49 · Pokročilá · Verzia: 3
Zdroje
- String literals [lex.string]
- Character sets [lex.charset]
- Character arrays [dcl.init.string]
- Output streams — General [ostream.general]
- Header <string_view> synopsis [string.view.synop]
- basic_string_view construction and assignment [string.view.cons]
- basic_string_view capacity [string.view.capacity]
- Standard format specifiers [format.string.std] — reference to extended grapheme clusters
- N4950 — Working Draft, Standard for Programming Language C++
- N4606 — Working Draft, Standard for Programming Language C++
- P2728R7 — Unicode in the Library, Part 1: UTF Transcoding