Baza wiedzyCentrum egzaminacyjne
PLPolski
Wybierz język13

CKTIS / C++

Łańcuchy i tekst: jednostki kodowe, punkty kodowe i grafemy

Łańcuch w C++ przechowuje elementy, a nie gotowe znaki widoczne dla użytkownika. Poznaj różnicę między jednostkami kodowymi UTF-8, punktami kodowymi Unicode i klastrami grafemowymi oraz rolę std::u8string i literału u8.

Wersja: C++23; repository compiler flag, production runtime not attested

Składnia

std::string text = "abc";
std::u8string utf8 = u8"e\u0301";

std::string jest właścicielem ciągłej sekwencji elementów char; sam typ nie gwarantuje UTF-8. std::u8string przechowuje elementy char8_t, przeznaczone na jednostki kodowe UTF-8. Żaden z tych kontenerów nie sprawdza automatycznie poprawności tekstu Unicode. size() liczy przechowywane elementy, bez końcowego terminatora zerowego.

Rozróżniaj trzy poziomy: UTF-8 code units to 8-bitowe jednostki kodowania; Unicode code points to numerowane pozycje Unicode, np. U+0065; grapheme clusters to klastry grafemowe, które przybliżają znaki postrzegane przez użytkownika. Jedna wartość skalarna Unicode zajmuje w UTF-8 od jednej do czterech jednostek. Jeden klaster może obejmować kilka punktów kodowych: e oraz U+0301, łączący akcent ostry, tworzą jeden rozszerzony klaster grafemowy, ale dwa punkty kodowe i trzy jednostki UTF-8.

W C++23 u8 string literal, np. u8"e\u0301", ma typ tablicy elementów const char8_t i kodowanie UTF-8. Literał zawiera końcowy element zerowy; std::u8string skonstruowany z tego literału nie wlicza go do size(). char8_t jest odrębny od char: takiego literału nie można bezpośrednio użyć do inicjalizacji std::string.

Indeksowanie, iteracja i substr() operują na elementach, nie na klastrach grafemowych. Cięcie wewnątrz wielojednostkowej sekwencji UTF-8 może dać niepoprawne kodowanie, a cięcie między punktami kodowymi może rozdzielić klaster. Do operacji na znakach postrzeganych przez użytkownika potrzebne są dekodowanie i segmentacja Unicode; samo size() ich nie wykonuje. Podlinkowany dokument jest rozwijanym szkicem, nie zamrożoną publikacją C++23; przykład używa funkcji dostępnych w C++23.

Przykłady

#include <iostream>
#include <string>

int main() {
    const std::u8string text = u8"e\u0301";
    std::cout << "UTF-8 code units: " << text.size() << '\n';
    std::cout << "Values:";
    for (char8_t unit : text) {
        std::cout << ' ' << static_cast<unsigned int>(unit);
    }
    std::cout << '\n';
}

Wynik

UTF-8 code units: 3
Values: 101 204 129

Wyświetlony kod i zadeklarowany wynik zweryfikowano w odizolowanym środowisku metodą zapisaną w dowodzie weryfikacji tej dokładnej wersji.

Źródła