CKTIS / C++
Низове и текст: кодови единици, кодови точки и графемни клъстери
Низът в C++ съхранява елементи, а не готови символи, видими за потребителя. Научете разликата между UTF-8 кодови единици, Unicode кодови точки и графемни клъстери, както и ролята на std::u8string и низовия литерал u8.
Версия: C++23; repository compiler flag, production runtime not attested
Синтаксис
std::string text = "abc";
std::u8string utf8 = u8"e\u0301";std::string притежава непрекъсната последователност от елементи char; самият тип не гарантира UTF-8. std::u8string съхранява елементи char8_t, предназначени за UTF-8 кодови единици. Нито един от двата контейнера не проверява автоматично валидността на Unicode текста. size() брои съхранените елементи, без крайния нулев терминатор.
Разграничавайте три нива: UTF-8 кодовите единици са 8-битови единици за кодиране; Unicode кодовите точки са номерирани позиции в Unicode, например U+0065; графемните клъстери приблизително съответстват на символите, възприемани от потребителя. Една Unicode скаларна стойност заема от една до четири UTF-8 кодови единици. Един клъстер може да съдържа няколко кодови точки: e, последвано от U+0301, комбиниращо остро ударение, образува един разширен графемен клъстер, но две кодови точки и три UTF-8 кодови единици.
В C++23 низов литерал u8, например u8"e\u0301", има тип масив с елементи const char8_t и UTF-8 кодиране. Литералът включва краен нулев елемент; std::u8string, създаден от този литерал, не го брои в size(). char8_t се различава от char: този литерал не може директно да инициализира std::string.
Индексирането, итерацията и substr() работят с елементи, а не с графемни клъстери. Отрязване в рамките на многокомпонентна UTF-8 последователност може да създаде невалидно кодиране, а отрязване между кодови точки може да раздели клъстер. Операциите върху възприеманите от потребителя символи изискват Unicode декодиране и сегментация; само size() не извършва нито едното. Свързаният документ е развиващ се работен проект, а не окончателна публикация на C++23; примерът използва възможности, налични в C++23.
Примери
#include <iostream>
#include <string>
int main() {
const std::u8string text = u8"e\u0301";
std::cout << "UTF-8 code units: " << text.size() << '\n';
std::cout << "Values:";
for (char8_t unit : text) {
std::cout << ' ' << static_cast<unsigned int>(unit);
}
std::cout << '\n';
}
Резултат
UTF-8 code units: 3 Values: 101 204 129
Показаният код и заявеният резултат са проверени в изолирана среда по метода, записан в доказателството за проверка на тази точна версия.