CKTIS / C++
UTF-8 в C++: кодови единици, кодови точки и графемни клъстери
Дължината на текст в UTF-8 зависи от това дали броим кодови единици, кодови точки или графемни клъстери. Примерът брои и съкращава валиден UTF-8, без да разделя записа на кодова точка.
Версия: ISO C++23; implementation support may vary
Синтаксис
// u8"text" has type const char8_t[5]; the bound includes the terminating zero code unit.
std::u8string_view text = u8"text"; // <string_view>
text.size(); // number of code units in the view
text.substr(0, n); // prefix of up to n code units; no Unicode boundary checkКодовата единица в UTF-8 е 8-битов октет. Кодова точка е числова стойност в Unicode, например U+0301. Всяка скаларна стойност на Unicode (кодова точка извън диапазона на сурогатите) заема от една до четири единици във валиден UTF-8. Разширеният графемен клъстер е последователност от една или повече кодови точки, групирани по правилата за сегментиране на Unicode (UAX #29). Той приблизително съответства на един възприеман от потребителя знак, а не на ширината му при показване.
От C++20 литералът u8"..." има тип const char8_t[N], като N включва крайната нулева единица. За разлика от обикновения литерал "...", указателят, получен от масива, не се преобразува неявно в const char*. std::u8string_view от <string_view> е изглед, който не притежава данните. size() брои единиците в изгледа, а конструкторът само с указател спира при първата нула. За да включиш вътрешни нули, подай указател и дължина на валиден диапазон. Литералът съществува през цялото изпълнение на програмата; другата памет, към която сочи изгледът, трябва да остане валидна, докато той се използва.
Във валиден UTF-8 всяка кодова точка започва с точно една единица, която не е продължаваща. Продължаващите единици имат битов шаблон 10xxxxxx, затова началата могат да се броят без декодиране на стойностите. substr(0, n) реже по кодови единици и може да раздели последователност от няколко единици. За най-дългия префикс в рамките на лимита връщай позицията на среза назад, докато сочи продължаваща единица, до граница на кодова точка.
Броенето и съкращаването предполагат валиден UTF-8: не проверяват кодирането, не нормализират текста и не откриват графемни граници. Първо провери ненадеждния вход и отхвърли невалидните данни или приложи изрично правило за замяна. За съкращаване по възприемани знаци използвай библиотека за сегментиране на графеми в Unicode; C++23 не предоставя API с общо предназначение за това.
Примери
#include <cstddef>
#include <iostream>
#include <string_view>
constexpr bool is_continuation(char8_t unit) noexcept {
return (unit & 0xC0u) == 0x80u;
}
// Precondition: text is well-formed UTF-8.
constexpr std::size_t count_code_points(std::u8string_view text) noexcept {
std::size_t count = 0;
for (char8_t unit : text) {
if (!is_continuation(unit)) {
++count;
}
}
return count;
}
// Precondition: text is well-formed UTF-8.
constexpr std::u8string_view trim_to_unit_budget(
std::u8string_view text, std::size_t max_units) {
auto end = max_units < text.size() ? max_units : text.size();
while (end > 0 && end < text.size() && is_continuation(text[end])) {
--end;
}
return text.substr(0, end);
}
int main() {
constexpr std::u8string_view text = u8"e\u0301\U0001F642";
constexpr auto prefix = trim_to_unit_budget(text, 2);
static_assert(text.size() == 7);
static_assert(count_code_points(text) == 3);
static_assert(prefix == u8"e");
std::cout << "code_units: " << text.size() << '\n'
<< "code_points: " << count_code_points(text) << '\n'
<< "prefix_code_units: " << prefix.size() << '\n';
}Резултат
code_units: 7 code_points: 3 prefix_code_units: 1
`e`, U+0301 и емоджито U+1F642 заемат съответно 1, 2 и 4 единици: общо 7 кодови единици, 3 кодови точки и 2 графемни клъстера. Лимит от 2 би разрязал записа на U+0301, затова функцията запазва само `e`. Префиксът остава валиден UTF-8, но губи ударението. Програмата не изчислява броя на клъстерите.
Свързани уроци
- C++ · Урок 49 · Напреднало · Версия: 3
Източници
- String literals [lex.string]
- Character sets [lex.charset]
- Compatibility with ISO C++ 2017: lexical conventions [diff.cpp17.lex]
- Header <string_view> synopsis [string.view.synop]
- Construction and assignment [string.view.cons]
- Capacity [string.view.capacity]
- String operations [string.view.ops]
- Standard format specifiers [format.string.std]
- N4950 — Working Draft, Standard for Programming Language C++
- Unicode Standard Annex #29: Unicode Text Segmentation