CKTIS / C++
Řetězcový literál u8: kódové jednotky, kódové body a grafémové shluky
Předpona `u8` určuje kódování UTF-8 pro řetězcový literál. Délka v kódových jednotkách, počet kódových bodů a počet grafémových shluků jsou různé míry.
Verze: ISO C++23; implementation support may vary
Syntaxe
u8"text"
u8R"tag(raw text)tag"
// C++23: a view over the UTF-8 code units of a literal
#include <string_view>
constexpr std::u8string_view text = u8"e\u0301";u8"text" je řetězcový literál s kódováním UTF-8. Od C++20 jde o nemodifikovatelné pole const char8_t[N] se statickou dobou uložení; v C++11 až C++17 mělo typ const char[N]. Do N se započítává přidaná koncová nulová jednotka. Literál bez předpony používá kódování běžných literálů, které nemusí být UTF-8. V syrové podobě u8R"tag(...)tag" zpětná lomítka nezahajují únikové sekvence.
Při převodu pole na ukazatel vznikne const char8_t*, nikoli const char*. C++23 umožňuje přímo inicializovat pole typu char nebo unsigned char literálem u8, ale nezavádí implicitní převod mezi těmito typy ukazatelů. Podpora této opravy se může lišit podle implementace. std::cout << u8"x" vybere odstraněné přetížení. Před předáním textu rozhraní, které přijímá const char*, zjisti, jaké kódování očekává.
std::u8string_view z hlavičky <string_view> data nevlastní. Pohled na literál může odkazovat na jeho úložiště po celou dobu běhu programu. size() počítá kódové jednotky v pohledu. Konstruktor s pouhým ukazatelem se zastaví před první nulou; chceš-li zachovat vnitřní nuly, předej ukazatel i délku.
Kódová jednotka UTF-8 má osm bitů. Kódový bod je číselná hodnota v kódovém prostoru Unicode; UTF-8 kóduje každou skalární hodnotu (kódový bod mimo oblast surogátů) jednou až čtyřmi jednotkami. Rozšířený grafémový shluk seskupuje jeden či více kódových bodů podle pravidel segmentace Unicode a přibližně odpovídá znaku vnímanému uživatelem. e následované kombinující čárkou U+0301 tvoří tři kódové jednotky, dva kódové body a jeden takový shluk.
Pouze u platného UTF-8 lze body spočítat jako počet jednotek, které nejsou pokračovací (10xxxxxx). Chceš-li ponechat prvních k bodů, ukonči předponu na začátku dalšího bodu, případně na konci dat, pokud další bod není. Řez na libovolném indexu jednotky může rozdělit sekvenci UTF-8; řez na hranici bodu může rozdělit shluk. Ani tento výpočet, ani toto zkrácení neověřuje platnost UTF-8, nenormalizuje text ani nehledá hranice shluků. I u8"\xFF" obsahuje jednotku neplatnou v UTF-8. Před použitím této zkratky ověř nedůvěryhodný vstup a pro zkracování podle grafémových shluků proveď samostatnou segmentaci textu.
Příklady
#include <cstddef>
#include <iostream>
#include <string_view>
int main() {
constexpr auto& literal = u8"e\u0301";
constexpr std::u8string_view text{literal};
static_assert(sizeof(literal) == 4 && text.size() == 3);
std::size_t points = 0;
std::size_t first_end = text.size();
for (std::size_t i = 0; i < text.size(); ++i) {
if ((static_cast<unsigned>(text[i]) & 0xC0u) != 0x80u) {
++points;
if (points == 2) {
first_end = i;
}
}
}
const auto prefix = text.substr(0, first_end);
std::cout << "Code units: " << text.size() << '\n'
<< "Code points: " << points << '\n'
<< "First code point, code units: " << prefix.size() << '\n';
}
Výsledek
Code units: 3 Code points: 2 First code point, code units: 1
Program vypisuje počty, takže výsledek nezávisí na tom, zda terminál umí zobrazit čárku. Předpona obsahuje pouze `e`: zůstává platným UTF-8, ale přijde o čárku z původního shluku. Program grafémové shluky nepočítá.
Související lekce
- C++ · Lekce 49 · Pokročilá · Verze: 3
Zdroje
- String literals [lex.string]
- Character sets [lex.charset]
- Character arrays [dcl.init.string]
- Output streams — General [ostream.general]
- Header <string_view> synopsis [string.view.synop]
- basic_string_view construction and assignment [string.view.cons]
- basic_string_view capacity [string.view.capacity]
- Standard format specifiers [format.string.std] — reference to extended grapheme clusters
- N4950 — Working Draft, Standard for Programming Language C++
- N4606 — Working Draft, Standard for Programming Language C++
- P2728R7 — Unicode in the Library, Part 1: UTF Transcoding