CKTIS / C++
Низов литерал u8: кодови единици, кодови точки и графемни клъстери
Префиксът `u8` избира кодиране UTF-8 за низовия литерал. Дължината в кодови единици, броят на кодовите точки и броят на графемните клъстери са различни мерки за текст.
Версия: ISO C++23; implementation support may vary
Синтаксис
u8"text"
u8R"tag(raw text)tag"
// C++23: a view over the UTF-8 code units of a literal
#include <string_view>
constexpr std::u8string_view text = u8"e\u0301";u8"text" е низов литерал с кодиране UTF-8. От C++20 той е непроменяем масив const char8_t[N] със статична продължителност на съхранение; от C++11 до C++17 типът е const char[N]. N включва добавената крайна нулева единица. Литерал без префикс използва кодирането на обикновените литерали, което не е задължително UTF-8. В суровата форма u8R"tag(...)tag" обратните наклонени черти не въвеждат екраниращи последователности.
Когато масивът се преобразува до указател, резултатът е const char8_t*, а не const char*. C++23 позволява пряко инициализиране на масиви от char или unsigned char с литерал u8, но не въвежда неявно преобразуване между тези типове указатели. Поддръжката на тази поправка може да зависи от реализацията. std::cout << u8"x" избира изтрито претоварване. Преди да подадеш текст на интерфейс, приемащ const char*, провери какво кодиране очаква той.
std::u8string_view от <string_view> не притежава данните си. Изглед към литерал може да сочи към неговата памет през цялото изпълнение на програмата. size() брои кодовите единици в изгледа. Конструкторът само с указател спира преди първата нула; за да запазиш вътрешните нули, подай указател и дължина.
Кодовата единица на UTF-8 е осем бита. Кодова точка е числова стойност в кодовото пространство на Unicode; UTF-8 кодира всяка скаларна стойност (кодова точка, която не е сурогатна) с една до четири единици. Разширеният графемен клъстер обединява една или повече кодови точки съгласно правилата за сегментиране на Unicode и приблизително съответства на това, което потребителят възприема като един знак. e, последвано от комбиниращо остро ударение U+0301, образува три кодови единици, две кодови точки и един такъв клъстер.
Само при валиден UTF-8 броят на кодовите точки може да се получи, като се преброят единиците, които не са продължаващи (10xxxxxx). За да запазиш първите k точки, завърши префикса в началото на следващата точка или в края на данните, ако няма следваща. Срез при произволен индекс на единица може да раздели последователност на UTF-8, а срез на граница между точки може да раздели клъстер. Нито това броене, нито това съкращаване проверява валидността на UTF-8, нормализира текста или намира границите на клъстерите. Дори u8"\xFF" съдържа единица, невалидна за UTF-8. Проверявай ненадеждни входни данни, преди да използваш този съкратен метод, и сегментирай текста отделно, когато режеш по графемни клъстери.
Примери
#include <cstddef>
#include <iostream>
#include <string_view>
int main() {
constexpr auto& literal = u8"e\u0301";
constexpr std::u8string_view text{literal};
static_assert(sizeof(literal) == 4 && text.size() == 3);
std::size_t points = 0;
std::size_t first_end = text.size();
for (std::size_t i = 0; i < text.size(); ++i) {
if ((static_cast<unsigned>(text[i]) & 0xC0u) != 0x80u) {
++points;
if (points == 2) {
first_end = i;
}
}
}
const auto prefix = text.substr(0, first_end);
std::cout << "Code units: " << text.size() << '\n'
<< "Code points: " << points << '\n'
<< "First code point, code units: " << prefix.size() << '\n';
}
Резултат
Code units: 3 Code points: 2 First code point, code units: 1
Програмата извежда броеве, така че резултатът не зависи от това дали терминалът може да покаже ударението. Префиксът съдържа само `e`: той остава валиден UTF-8, но губи ударението от първоначалния клъстер. Програмата не брои графемните клъстери.
Свързани уроци
- C++ · Урок 49 · Напреднало · Версия: 3
Източници
- String literals [lex.string]
- Character sets [lex.charset]
- Character arrays [dcl.init.string]
- Output streams — General [ostream.general]
- Header <string_view> synopsis [string.view.synop]
- basic_string_view construction and assignment [string.view.cons]
- basic_string_view capacity [string.view.capacity]
- Standard format specifiers [format.string.std] — reference to extended grapheme clusters
- N4950 — Working Draft, Standard for Programming Language C++
- N4606 — Working Draft, Standard for Programming Language C++
- P2728R7 — Unicode in the Library, Part 1: UTF Transcoding