База знанияИзпитен център
BGБългарски
Избери език13

CKTIS / C++

Низове и текст: кодови единици, кодови точки и графемни клъстери

Низът в C++ съхранява елементи, а не готови символи, видими за потребителя. Научете разликата между UTF-8 кодови единици, Unicode кодови точки и графемни клъстери, както и ролята на std::u8string и низовия литерал u8.

Версия: C++23; repository compiler flag, production runtime not attested

Синтаксис

std::string text = "abc";
std::u8string utf8 = u8"e\u0301";

std::string притежава непрекъсната последователност от елементи char; самият тип не гарантира UTF-8. std::u8string съхранява елементи char8_t, предназначени за UTF-8 кодови единици. Нито един от двата контейнера не проверява автоматично валидността на Unicode текста. size() брои съхранените елементи, без крайния нулев терминатор.

Разграничавайте три нива: UTF-8 кодовите единици са 8-битови единици за кодиране; Unicode кодовите точки са номерирани позиции в Unicode, например U+0065; графемните клъстери приблизително съответстват на символите, възприемани от потребителя. Една Unicode скаларна стойност заема от една до четири UTF-8 кодови единици. Един клъстер може да съдържа няколко кодови точки: e, последвано от U+0301, комбиниращо остро ударение, образува един разширен графемен клъстер, но две кодови точки и три UTF-8 кодови единици.

В C++23 низов литерал u8, например u8"e\u0301", има тип масив с елементи const char8_t и UTF-8 кодиране. Литералът включва краен нулев елемент; std::u8string, създаден от този литерал, не го брои в size(). char8_t се различава от char: този литерал не може директно да инициализира std::string.

Индексирането, итерацията и substr() работят с елементи, а не с графемни клъстери. Отрязване в рамките на многокомпонентна UTF-8 последователност може да създаде невалидно кодиране, а отрязване между кодови точки може да раздели клъстер. Операциите върху възприеманите от потребителя символи изискват Unicode декодиране и сегментация; само size() не извършва нито едното. Свързаният документ е развиващ се работен проект, а не окончателна публикация на C++23; примерът използва възможности, налични в C++23.

Примери

#include <iostream>
#include <string>

int main() {
    const std::u8string text = u8"e\u0301";
    std::cout << "UTF-8 code units: " << text.size() << '\n';
    std::cout << "Values:";
    for (char8_t unit : text) {
        std::cout << ' ' << static_cast<unsigned int>(unit);
    }
    std::cout << '\n';
}

Резултат

UTF-8 code units: 3
Values: 101 204 129

Показаният код и заявеният резултат са проверени в изолирана среда по метода, записан в доказателството за проверка на тази точна версия.

Източници