CKTIS / C++
UTF-8 w C++: jednostki kodowe, punkty kodowe i klastry grafemowe
Długość tekstu UTF-8 zależy od tego, co mierzymy: jednostki kodowe, punkty kodowe czy klastry grafemowe. Przykład pokazuje zliczanie i skracanie poprawnego UTF-8 bez przecinania punktu kodowego.
Wersja: ISO C++23; implementation support may vary
Składnia
// u8"text" has type const char8_t[5]; the bound includes the terminating zero code unit.
std::u8string_view text = u8"text"; // <string_view>
text.size(); // number of code units in the view
text.substr(0, n); // prefix of up to n code units; no Unicode boundary checkJednostka kodowa UTF-8 to 8-bitowy oktet. Punkt kodowy to wartość liczbowa Unicode, np. U+0301. Każda wartość skalarna (punkt kodowy spoza zakresu surogatów) zajmuje w poprawnym UTF-8 od jednej do czterech jednostek kodowych. Rozszerzony klaster grafemowy to sekwencja jednego lub kilku punktów kodowych wyznaczona według reguł segmentacji Unicode (UAX #29), która przybliża to, co odbieramy jako jeden znak. Nie jest to miara szerokości wyświetlania.
Od C++20 literał u8"..." ma typ const char8_t[N], a N obejmuje końcową jednostkę zerową. Nie zachowuje się jak zwykły literał "...": wskaźnik powstały z tablicy u8 nie konwertuje się niejawnie na const char*. std::u8string_view z <string_view> to widok bez własności danych. size() liczy jednostki kodowe widoku, a konstruktor przyjmujący tylko wskaźnik zatrzymuje się na pierwszym zerze. Aby uwzględnić zera wewnątrz danych, użyj konstruktora ze wskaźnikiem i długością poprawnego zakresu. Literał istnieje przez cały czas działania programu; inne dane muszą pozostać dostępne przez cały czas używania widoku.
W poprawnym UTF-8 każdy punkt kodowy zaczyna się od dokładnie jednej jednostki, która nie ma postaci 10xxxxxx; jednostki o tej postaci są jednostkami kontynuacji. Można więc policzyć początki bez dekodowania wartości punktów kodowych. substr(0, n) tnie według jednostek kodowych i może przeciąć sekwencję wielojednostkową. Aby uzyskać najdłuższy prefiks mieszczący się w limicie jednostek, cofnij pozycję cięcia, jeśli wskazuje jednostkę kontynuacji, i powtarzaj to aż do granicy punktu kodowego.
Zliczanie i skracanie zakładają poprawny UTF-8: nie sprawdzają jego poprawności, nie normalizują tekstu ani nie wyznaczają granic grafemów. Dla niezaufanego wejścia najpierw sprawdź kodowanie i odrzuć błędne dane lub zastosuj jawną zasadę ich zastępowania. Do skracania według znaków postrzeganych przez użytkownika użyj biblioteki implementującej segmentację grafemów Unicode; C++23 nie udostępnia ogólnego API do tego zadania.
Przykłady
#include <cstddef>
#include <iostream>
#include <string_view>
constexpr bool is_continuation(char8_t unit) noexcept {
return (unit & 0xC0u) == 0x80u;
}
// Precondition: text is well-formed UTF-8.
constexpr std::size_t count_code_points(std::u8string_view text) noexcept {
std::size_t count = 0;
for (char8_t unit : text) {
if (!is_continuation(unit)) {
++count;
}
}
return count;
}
// Precondition: text is well-formed UTF-8.
constexpr std::u8string_view trim_to_unit_budget(
std::u8string_view text, std::size_t max_units) {
auto end = max_units < text.size() ? max_units : text.size();
while (end > 0 && end < text.size() && is_continuation(text[end])) {
--end;
}
return text.substr(0, end);
}
int main() {
constexpr std::u8string_view text = u8"e\u0301\U0001F642";
constexpr auto prefix = trim_to_unit_budget(text, 2);
static_assert(text.size() == 7);
static_assert(count_code_points(text) == 3);
static_assert(prefix == u8"e");
std::cout << "code_units: " << text.size() << '\n'
<< "code_points: " << count_code_points(text) << '\n'
<< "prefix_code_units: " << prefix.size() << '\n';
}Wynik
code_units: 7 code_points: 3 prefix_code_units: 1
Zapis `e` + U+0301 i emoji U+1F642 zajmują odpowiednio 1, 2 i 4 jednostki kodowe: razem 7 jednostek, 3 punkty kodowe i 2 klastry grafemowe. Przy limicie 2 jednostek cięcie wypadałoby w środku kodowania U+0301, więc funkcja zachowuje tylko `e`. Prefiks jest poprawnym UTF-8, ale traci akcent. Program nie oblicza liczby klastrów.
Powiązane lekcje
- C++ · Lekcja 49 · Zaawansowany · Wersja: 3
Źródła
- String literals [lex.string]
- Character sets [lex.charset]
- Compatibility with ISO C++ 2017: lexical conventions [diff.cpp17.lex]
- Header <string_view> synopsis [string.view.synop]
- Construction and assignment [string.view.cons]
- Capacity [string.view.capacity]
- String operations [string.view.ops]
- Standard format specifiers [format.string.std]
- N4950 — Working Draft, Standard for Programming Language C++
- Unicode Standard Annex #29: Unicode Text Segmentation