CKTIS / C++
UTF-8 v C++: kodne enote, kodne točke in grafemski sklopi
Dolžina besedila UTF-8 je odvisna od tega, ali štejemo kodne enote, kodne točke ali grafemske sklope. Primer šteje in krajša veljavni UTF-8, ne da bi razdelil zapis kodne točke.
Različica: ISO C++23; implementation support may vary
Sintaksa
// u8"text" has type const char8_t[5]; the bound includes the terminating zero code unit.
std::u8string_view text = u8"text"; // <string_view>
text.size(); // number of code units in the view
text.substr(0, n); // prefix of up to n code units; no Unicode boundary checkKodna enota UTF-8 je 8-bitni oktet. Kodna točka je številska vrednost v Unicode, na primer U+0301. Vsaka skalarna vrednost Unicode (kodna točka zunaj območja nadomestnih kodnih točk) v veljavnem UTF-8 zaseda od ene do štirih kodnih enot. Razširjeni grafemski sklop je ena ali več kodnih točk, združenih po pravilih segmentacije Unicode (UAX #29). Približno ustreza temu, kar uporabnik dojema kot en znak, in ni merilo širine prikaza.
Od C++20 ima literal u8"..." tip const char8_t[N], pri čemer N vključuje končno ničelno enoto. Za razliko od običajnega literala "..." se kazalec, dobljen iz tega polja, implicitno ne pretvori v const char*. std::u8string_view iz <string_view> je pogled, ki si podatkov ne lasti. size() šteje enote v pogledu, konstruktor s samim kazalcem pa se ustavi pri prvi ničli. Če želiš vključiti notranje ničle, podaj kazalec in dolžino veljavnega obsega. Literal obstaja ves čas izvajanja programa; drugi pomnilnik, na katerega se opira pogled, mora ostati veljaven, dokler se pogled uporablja.
V veljavnem UTF-8 se vsaka kodna točka začne z natanko eno enoto, ki ni nadaljevalna. Nadaljevalne enote imajo bitni vzorec 10xxxxxx. Začetke je zato mogoče šteti brez dekodiranja vrednosti. substr(0, n) reže po enotah in lahko razdeli več enot dolgo zaporedje. Za najdaljšo predpono znotraj omejitve pomikaj mesto reza nazaj, dokler kaže na nadaljevalno enoto, do meje kodne točke.
Štetje in krajšanje predpostavljata veljavni UTF-8: ne preverjata kodiranja, ne normalizirata besedila in ne določata grafemskih mej. Vhodu, ki mu ne zaupaš, najprej preveri kodiranje in zavrni nepravilne podatke ali uporabi izrecno pravilo za zamenjavo. Za krajšanje po znakih, kot jih dojema uporabnik, uporabi knjižnico s segmentacijo grafemov Unicode; C++23 za to ne ponuja splošnega API-ja.
Primeri
#include <cstddef>
#include <iostream>
#include <string_view>
constexpr bool is_continuation(char8_t unit) noexcept {
return (unit & 0xC0u) == 0x80u;
}
// Precondition: text is well-formed UTF-8.
constexpr std::size_t count_code_points(std::u8string_view text) noexcept {
std::size_t count = 0;
for (char8_t unit : text) {
if (!is_continuation(unit)) {
++count;
}
}
return count;
}
// Precondition: text is well-formed UTF-8.
constexpr std::u8string_view trim_to_unit_budget(
std::u8string_view text, std::size_t max_units) {
auto end = max_units < text.size() ? max_units : text.size();
while (end > 0 && end < text.size() && is_continuation(text[end])) {
--end;
}
return text.substr(0, end);
}
int main() {
constexpr std::u8string_view text = u8"e\u0301\U0001F642";
constexpr auto prefix = trim_to_unit_budget(text, 2);
static_assert(text.size() == 7);
static_assert(count_code_points(text) == 3);
static_assert(prefix == u8"e");
std::cout << "code_units: " << text.size() << '\n'
<< "code_points: " << count_code_points(text) << '\n'
<< "prefix_code_units: " << prefix.size() << '\n';
}Rezultat
code_units: 7 code_points: 3 prefix_code_units: 1
`e`, U+0301 in emoji U+1F642 zasedajo 1, 2 oziroma 4 enote: skupaj 7 kodnih enot, 3 kodne točke in 2 grafemska sklopa. Omejitev 2 bi rezala sredi zapisa U+0301, zato funkcija ohrani le `e`. Predpona je še vedno veljavni UTF-8, vendar izgubi naglasno znamenje. Program ne izračuna števila sklopov.
Povezane lekcije
- C++ · Lekcija 49 · Napredna · Različica: 3
Viri
- String literals [lex.string]
- Character sets [lex.charset]
- Compatibility with ISO C++ 2017: lexical conventions [diff.cpp17.lex]
- Header <string_view> synopsis [string.view.synop]
- Construction and assignment [string.view.cons]
- Capacity [string.view.capacity]
- String operations [string.view.ops]
- Standard format specifiers [format.string.std]
- N4950 — Working Draft, Standard for Programming Language C++
- Unicode Standard Annex #29: Unicode Text Segmentation