Baza wiedzyCentrum egzaminacyjne
PLPolski
Wybierz język13

CKTIS / C++

Literał łańcuchowy u8: jednostki kodowe, punkty kodowe i klastry grafemowe

Prefiks `u8` wybiera kodowanie UTF-8 literału. Długość w jednostkach kodowych, liczba punktów kodowych i liczba klastrów grafemowych to trzy różne miary tekstu.

Wersja: ISO C++23; implementation support may vary

Składnia

u8"text"
u8R"tag(raw text)tag"

// C++23: a view over the UTF-8 code units of a literal
#include <string_view>
constexpr std::u8string_view text = u8"e\u0301";

u8"tekst" to literał łańcuchowy o kodowaniu UTF-8. Od C++20 jest niemodyfikowalną tablicą const char8_t[N] o statycznym czasie przechowywania; w C++11–C++17 miał typ const char[N]. N obejmuje dopisaną końcową jednostkę zerową. Zwykły literał bez prefiksu używa zwykłego kodowania literałów, które nie musi być UTF-8. W surowej postaci u8R"tag(...)tag" odwrotne ukośniki nie rozpoczynają sekwencji ucieczki.

Po konwersji tablicy na wskaźnik otrzymujemy const char8_t*, a nie const char*. C++23 pozwala zainicjalizować tablicę char lub unsigned char bezpośrednio literałem u8, ale nie wprowadza niejawnej konwersji tych wskaźników; obsługa tej poprawki zależy od implementacji. std::cout << u8"x" wybiera usunięte przeciążenie. Przy przekazywaniu tekstu do interfejsu przyjmującego const char* sprawdź, jakiego kodowania oczekuje.

std::u8string_view z nagłówka <string_view> nie jest właścicielem danych. Widok na literał może korzystać z jego danych przez cały czas działania programu. size() liczy jednostki kodowe w widoku. Konstruktor przyjmujący tylko wskaźnik zatrzymuje się przed pierwszym zerem; aby zachować zera wewnętrzne, przekaż wskaźnik i długość.

Jednostka kodowa UTF-8 ma osiem bitów. Punkt kodowy to wartość liczbowa w przestrzeni Unicode; UTF-8 zapisuje każdą wartość skalarną (punkt kodowy inny niż surogat) w jednej do czterech jednostek. Rozszerzony klaster grafemowy grupuje jeden lub więcej punktów według reguł segmentacji Unicode i przybliża znak postrzegany przez użytkownika. e i łączący akcent ostry U+0301 to trzy jednostki kodowe, dwa punkty kodowe i jeden taki klaster.

Tylko dla poprawnego UTF-8 można policzyć punkty kodowe, zliczając jednostki, które nie są kontynuacją (10xxxxxx). Aby zachować pierwsze k punktów, zakończ prefiks na początku następnego punktu lub na końcu danych, jeśli go nie ma. Cięcie według dowolnego indeksu jednostki może rozdzielić sekwencję UTF-8, a cięcie na granicy punktu może rozdzielić klaster. Ani to liczenie, ani to przycinanie nie waliduje UTF-8, nie normalizuje tekstu ani nie wyznacza granic klastrów. Nawet u8"\xFF" zawiera niepoprawną jednostkę UTF-8; waliduj niezaufane dane przed użyciem tej metody i osobno segmentuj tekst, gdy chcesz ciąć według klastrów.

Przykłady

#include <cstddef>
#include <iostream>
#include <string_view>

int main() {
    constexpr auto& literal = u8"e\u0301";
    constexpr std::u8string_view text{literal};
    static_assert(sizeof(literal) == 4 && text.size() == 3);

    std::size_t points = 0;
    std::size_t first_end = text.size();
    for (std::size_t i = 0; i < text.size(); ++i) {
        if ((static_cast<unsigned>(text[i]) & 0xC0u) != 0x80u) {
            ++points;
            if (points == 2) {
                first_end = i;
            }
        }
    }

    const auto prefix = text.substr(0, first_end);
    std::cout << "Code units: " << text.size() << '\n'
              << "Code points: " << points << '\n'
              << "First code point, code units: " << prefix.size() << '\n';
}

Wynik

Code units: 3
Code points: 2
First code point, code units: 1

Program wypisuje liczby, więc wynik nie zależy od tego, czy terminal potrafi wyświetlić akcent. Prefiks obejmuje tylko `e`: pozostaje poprawnym UTF-8, ale odcina akcent należący do pierwotnego klastra. Program nie oblicza liczby klastrów.

Powiązane lekcje

  • C++ · Lekcja 49 · Zaawansowany · Wersja: 3

Źródła