CKTIS / C++
UTF-8 v C++: kódové jednotky, kódové body a grafémové zhluky
Dĺžka textu v UTF-8 závisí od toho, či počítame kódové jednotky, kódové body alebo grafémové zhluky. Príklad počíta a skracuje platné UTF-8 bez rozdelenia kódového bodu.
Verzia: ISO C++23; implementation support may vary
Syntax
// u8"text" has type const char8_t[5]; the bound includes the terminating zero code unit.
std::u8string_view text = u8"text"; // <string_view>
text.size(); // number of code units in the view
text.substr(0, n); // prefix of up to n code units; no Unicode boundary checkKódová jednotka UTF-8 je osembitový oktet. Kódový bod je číselná hodnota v Unicode, napríklad U+0301. Každá skalárna hodnota Unicode (kódový bod mimo rozsahu náhradných hodnôt) zaberá v platnom UTF-8 jednu až štyri jednotky. Rozšírený grafémový zhluk tvorí jeden alebo viac kódových bodov zoskupených podľa pravidiel segmentácie Unicode (UAX #29). Približne zodpovedá jednému znaku vnímanému používateľom, nie jeho šírke pri zobrazení.
Od C++20 má literál u8"..." typ const char8_t[N]; N zahŕňa koncovú nulovú jednotku. Na rozdiel od bežného literálu "..." sa ukazovateľ získaný z poľa implicitne nekonvertuje na const char*. std::u8string_view z <string_view> je pohľad, ktorý dáta nevlastní. size() počíta jednotky v pohľade a konštruktor s jediným ukazovateľom sa zastaví pri prvej nule. Ak chceš zahrnúť aj vnorené nuly, použi ukazovateľ a dĺžku platného rozsahu. Literál existuje počas celého behu programu; iná podkladová pamäť musí zostať platná, kým sa pohľad používa.
V platnom UTF-8 sa každý kódový bod začína presne jednou jednotkou, ktorá nie je pokračovacia. Pokračovacie jednotky majú bitový vzor 10xxxxxx. Začiatky sa preto dajú počítať bez dekódovania hodnôt. substr(0, n) reže podľa jednotiek a môže rozdeliť viacjednotkovú sekvenciu. Ak chceš najdlhší prefix v rámci limitu jednotiek, posúvaj miesto rezu späť, kým ukazuje na pokračovaciu jednotku, až po hranicu kódového bodu.
Počítanie aj skracovanie predpokladajú platné UTF-8: neoverujú kódovanie, nenormalizujú text ani neurčujú hranice grafém. Nedôveryhodný vstup najskôr over a chybne kódované dáta odmietni alebo použi výslovne určené pravidlo náhrady. Na skracovanie podľa vnímaných znakov použi knižnicu so segmentáciou grafém Unicode; C++23 na to neposkytuje všeobecné API.
Príklady
#include <cstddef>
#include <iostream>
#include <string_view>
constexpr bool is_continuation(char8_t unit) noexcept {
return (unit & 0xC0u) == 0x80u;
}
// Precondition: text is well-formed UTF-8.
constexpr std::size_t count_code_points(std::u8string_view text) noexcept {
std::size_t count = 0;
for (char8_t unit : text) {
if (!is_continuation(unit)) {
++count;
}
}
return count;
}
// Precondition: text is well-formed UTF-8.
constexpr std::u8string_view trim_to_unit_budget(
std::u8string_view text, std::size_t max_units) {
auto end = max_units < text.size() ? max_units : text.size();
while (end > 0 && end < text.size() && is_continuation(text[end])) {
--end;
}
return text.substr(0, end);
}
int main() {
constexpr std::u8string_view text = u8"e\u0301\U0001F642";
constexpr auto prefix = trim_to_unit_budget(text, 2);
static_assert(text.size() == 7);
static_assert(count_code_points(text) == 3);
static_assert(prefix == u8"e");
std::cout << "code_units: " << text.size() << '\n'
<< "code_points: " << count_code_points(text) << '\n'
<< "prefix_code_units: " << prefix.size() << '\n';
}Výsledok
code_units: 7 code_points: 3 prefix_code_units: 1
`e`, U+0301 a emoji U+1F642 zaberajú postupne 1, 2 a 4 jednotky: spolu 7 kódových jednotiek, 3 kódové body a 2 grafémové zhluky. Limit 2 by viedol k rezu vnútri kódovania U+0301, takže funkcia ponechá iba `e`. Prefix zostáva platným UTF-8, ale stratí dĺžeň. Program počet zhlukov nepočíta.
Súvisiace lekcie
- C++ · Lekcia 49 · Pokročilá · Verzia: 3
Zdroje
- String literals [lex.string]
- Character sets [lex.charset]
- Compatibility with ISO C++ 2017: lexical conventions [diff.cpp17.lex]
- Header <string_view> synopsis [string.view.synop]
- Construction and assignment [string.view.cons]
- Capacity [string.view.capacity]
- String operations [string.view.ops]
- Standard format specifiers [format.string.std]
- N4950 — Working Draft, Standard for Programming Language C++
- Unicode Standard Annex #29: Unicode Text Segmentation