CKTIS / C++
Łańcuchy i tekst: jednostki kodowe, punkty kodowe i grafemy
Łańcuch w C++ przechowuje elementy, a nie gotowe znaki widoczne dla użytkownika. Poznaj różnicę między jednostkami kodowymi UTF-8, punktami kodowymi Unicode i klastrami grafemowymi oraz rolę std::u8string i literału u8.
Wersja: C++23; repository compiler flag, production runtime not attested
Składnia
std::string text = "abc";
std::u8string utf8 = u8"e\u0301";std::string jest właścicielem ciągłej sekwencji elementów char; sam typ nie gwarantuje UTF-8. std::u8string przechowuje elementy char8_t, przeznaczone na jednostki kodowe UTF-8. Żaden z tych kontenerów nie sprawdza automatycznie poprawności tekstu Unicode. size() liczy przechowywane elementy, bez końcowego terminatora zerowego.
Rozróżniaj trzy poziomy: UTF-8 code units to 8-bitowe jednostki kodowania; Unicode code points to numerowane pozycje Unicode, np. U+0065; grapheme clusters to klastry grafemowe, które przybliżają znaki postrzegane przez użytkownika. Jedna wartość skalarna Unicode zajmuje w UTF-8 od jednej do czterech jednostek. Jeden klaster może obejmować kilka punktów kodowych: e oraz U+0301, łączący akcent ostry, tworzą jeden rozszerzony klaster grafemowy, ale dwa punkty kodowe i trzy jednostki UTF-8.
W C++23 u8 string literal, np. u8"e\u0301", ma typ tablicy elementów const char8_t i kodowanie UTF-8. Literał zawiera końcowy element zerowy; std::u8string skonstruowany z tego literału nie wlicza go do size(). char8_t jest odrębny od char: takiego literału nie można bezpośrednio użyć do inicjalizacji std::string.
Indeksowanie, iteracja i substr() operują na elementach, nie na klastrach grafemowych. Cięcie wewnątrz wielojednostkowej sekwencji UTF-8 może dać niepoprawne kodowanie, a cięcie między punktami kodowymi może rozdzielić klaster. Do operacji na znakach postrzeganych przez użytkownika potrzebne są dekodowanie i segmentacja Unicode; samo size() ich nie wykonuje. Podlinkowany dokument jest rozwijanym szkicem, nie zamrożoną publikacją C++23; przykład używa funkcji dostępnych w C++23.
Przykłady
#include <iostream>
#include <string>
int main() {
const std::u8string text = u8"e\u0301";
std::cout << "UTF-8 code units: " << text.size() << '\n';
std::cout << "Values:";
for (char8_t unit : text) {
std::cout << ' ' << static_cast<unsigned int>(unit);
}
std::cout << '\n';
}
Wynik
UTF-8 code units: 3 Values: 101 204 129
Wyświetlony kod i zadeklarowany wynik zweryfikowano w odizolowanym środowisku metodą zapisaną w dowodzie weryfikacji tej dokładnej wersji.