База знанияИзпитен център
BGБългарски
Избери език13

CKTIS / C++

Низов литерал u8: кодови единици, кодови точки и графемни клъстери

Префиксът `u8` избира кодиране UTF-8 за низовия литерал. Дължината в кодови единици, броят на кодовите точки и броят на графемните клъстери са различни мерки за текст.

Версия: ISO C++23; implementation support may vary

Синтаксис

u8"text"
u8R"tag(raw text)tag"

// C++23: a view over the UTF-8 code units of a literal
#include <string_view>
constexpr std::u8string_view text = u8"e\u0301";

u8"text" е низов литерал с кодиране UTF-8. От C++20 той е непроменяем масив const char8_t[N] със статична продължителност на съхранение; от C++11 до C++17 типът е const char[N]. N включва добавената крайна нулева единица. Литерал без префикс използва кодирането на обикновените литерали, което не е задължително UTF-8. В суровата форма u8R"tag(...)tag" обратните наклонени черти не въвеждат екраниращи последователности.

Когато масивът се преобразува до указател, резултатът е const char8_t*, а не const char*. C++23 позволява пряко инициализиране на масиви от char или unsigned char с литерал u8, но не въвежда неявно преобразуване между тези типове указатели. Поддръжката на тази поправка може да зависи от реализацията. std::cout << u8"x" избира изтрито претоварване. Преди да подадеш текст на интерфейс, приемащ const char*, провери какво кодиране очаква той.

std::u8string_view от <string_view> не притежава данните си. Изглед към литерал може да сочи към неговата памет през цялото изпълнение на програмата. size() брои кодовите единици в изгледа. Конструкторът само с указател спира преди първата нула; за да запазиш вътрешните нули, подай указател и дължина.

Кодовата единица на UTF-8 е осем бита. Кодова точка е числова стойност в кодовото пространство на Unicode; UTF-8 кодира всяка скаларна стойност (кодова точка, която не е сурогатна) с една до четири единици. Разширеният графемен клъстер обединява една или повече кодови точки съгласно правилата за сегментиране на Unicode и приблизително съответства на това, което потребителят възприема като един знак. e, последвано от комбиниращо остро ударение U+0301, образува три кодови единици, две кодови точки и един такъв клъстер.

Само при валиден UTF-8 броят на кодовите точки може да се получи, като се преброят единиците, които не са продължаващи (10xxxxxx). За да запазиш първите k точки, завърши префикса в началото на следващата точка или в края на данните, ако няма следваща. Срез при произволен индекс на единица може да раздели последователност на UTF-8, а срез на граница между точки може да раздели клъстер. Нито това броене, нито това съкращаване проверява валидността на UTF-8, нормализира текста или намира границите на клъстерите. Дори u8"\xFF" съдържа единица, невалидна за UTF-8. Проверявай ненадеждни входни данни, преди да използваш този съкратен метод, и сегментирай текста отделно, когато режеш по графемни клъстери.

Примери

#include <cstddef>
#include <iostream>
#include <string_view>

int main() {
    constexpr auto& literal = u8"e\u0301";
    constexpr std::u8string_view text{literal};
    static_assert(sizeof(literal) == 4 && text.size() == 3);

    std::size_t points = 0;
    std::size_t first_end = text.size();
    for (std::size_t i = 0; i < text.size(); ++i) {
        if ((static_cast<unsigned>(text[i]) & 0xC0u) != 0x80u) {
            ++points;
            if (points == 2) {
                first_end = i;
            }
        }
    }

    const auto prefix = text.substr(0, first_end);
    std::cout << "Code units: " << text.size() << '\n'
              << "Code points: " << points << '\n'
              << "First code point, code units: " << prefix.size() << '\n';
}

Резултат

Code units: 3
Code points: 2
First code point, code units: 1

Програмата извежда броеве, така че резултатът не зависи от това дали терминалът може да покаже ударението. Префиксът съдържа само `e`: той остава валиден UTF-8, но губи ударението от първоначалния клъстер. Програмата не брои графемните клъстери.

Свързани уроци

  • C++ · Урок 49 · Напреднало · Версия: 3

Източници