CKTIS / C++
Literał łańcuchowy u8: jednostki kodowe, punkty kodowe i klastry grafemowe
Prefiks `u8` wybiera kodowanie UTF-8 literału. Długość w jednostkach kodowych, liczba punktów kodowych i liczba klastrów grafemowych to trzy różne miary tekstu.
Wersja: ISO C++23; implementation support may vary
Składnia
u8"text"
u8R"tag(raw text)tag"
// C++23: a view over the UTF-8 code units of a literal
#include <string_view>
constexpr std::u8string_view text = u8"e\u0301";u8"tekst" to literał łańcuchowy o kodowaniu UTF-8. Od C++20 jest niemodyfikowalną tablicą const char8_t[N] o statycznym czasie przechowywania; w C++11–C++17 miał typ const char[N]. N obejmuje dopisaną końcową jednostkę zerową. Zwykły literał bez prefiksu używa zwykłego kodowania literałów, które nie musi być UTF-8. W surowej postaci u8R"tag(...)tag" odwrotne ukośniki nie rozpoczynają sekwencji ucieczki.
Po konwersji tablicy na wskaźnik otrzymujemy const char8_t*, a nie const char*. C++23 pozwala zainicjalizować tablicę char lub unsigned char bezpośrednio literałem u8, ale nie wprowadza niejawnej konwersji tych wskaźników; obsługa tej poprawki zależy od implementacji. std::cout << u8"x" wybiera usunięte przeciążenie. Przy przekazywaniu tekstu do interfejsu przyjmującego const char* sprawdź, jakiego kodowania oczekuje.
std::u8string_view z nagłówka <string_view> nie jest właścicielem danych. Widok na literał może korzystać z jego danych przez cały czas działania programu. size() liczy jednostki kodowe w widoku. Konstruktor przyjmujący tylko wskaźnik zatrzymuje się przed pierwszym zerem; aby zachować zera wewnętrzne, przekaż wskaźnik i długość.
Jednostka kodowa UTF-8 ma osiem bitów. Punkt kodowy to wartość liczbowa w przestrzeni Unicode; UTF-8 zapisuje każdą wartość skalarną (punkt kodowy inny niż surogat) w jednej do czterech jednostek. Rozszerzony klaster grafemowy grupuje jeden lub więcej punktów według reguł segmentacji Unicode i przybliża znak postrzegany przez użytkownika. e i łączący akcent ostry U+0301 to trzy jednostki kodowe, dwa punkty kodowe i jeden taki klaster.
Tylko dla poprawnego UTF-8 można policzyć punkty kodowe, zliczając jednostki, które nie są kontynuacją (10xxxxxx). Aby zachować pierwsze k punktów, zakończ prefiks na początku następnego punktu lub na końcu danych, jeśli go nie ma. Cięcie według dowolnego indeksu jednostki może rozdzielić sekwencję UTF-8, a cięcie na granicy punktu może rozdzielić klaster. Ani to liczenie, ani to przycinanie nie waliduje UTF-8, nie normalizuje tekstu ani nie wyznacza granic klastrów. Nawet u8"\xFF" zawiera niepoprawną jednostkę UTF-8; waliduj niezaufane dane przed użyciem tej metody i osobno segmentuj tekst, gdy chcesz ciąć według klastrów.
Przykłady
#include <cstddef>
#include <iostream>
#include <string_view>
int main() {
constexpr auto& literal = u8"e\u0301";
constexpr std::u8string_view text{literal};
static_assert(sizeof(literal) == 4 && text.size() == 3);
std::size_t points = 0;
std::size_t first_end = text.size();
for (std::size_t i = 0; i < text.size(); ++i) {
if ((static_cast<unsigned>(text[i]) & 0xC0u) != 0x80u) {
++points;
if (points == 2) {
first_end = i;
}
}
}
const auto prefix = text.substr(0, first_end);
std::cout << "Code units: " << text.size() << '\n'
<< "Code points: " << points << '\n'
<< "First code point, code units: " << prefix.size() << '\n';
}
Wynik
Code units: 3 Code points: 2 First code point, code units: 1
Program wypisuje liczby, więc wynik nie zależy od tego, czy terminal potrafi wyświetlić akcent. Prefiks obejmuje tylko `e`: pozostaje poprawnym UTF-8, ale odcina akcent należący do pierwotnego klastra. Program nie oblicza liczby klastrów.
Powiązane lekcje
- C++ · Lekcja 49 · Zaawansowany · Wersja: 3
Źródła
- String literals [lex.string]
- Character sets [lex.charset]
- Character arrays [dcl.init.string]
- Output streams — General [ostream.general]
- Header <string_view> synopsis [string.view.synop]
- basic_string_view construction and assignment [string.view.cons]
- basic_string_view capacity [string.view.capacity]
- Standard format specifiers [format.string.std] — reference to extended grapheme clusters
- N4950 — Working Draft, Standard for Programming Language C++
- N4606 — Working Draft, Standard for Programming Language C++
- P2728R7 — Unicode in the Library, Part 1: UTF Transcoding