WissensdatenbankPrüfungszentrum
DEDeutsch
Sprache wählen13

CKTIS / C++

u8-Zeichenkettenliteral: Codeeinheiten, Codepunkte und Graphemcluster

Das Präfix `u8` wählt UTF-8 für das Literal. Die Länge in Codeeinheiten, die Zahl der Codepunkte und die Zahl der Graphemcluster sind unterschiedliche Maße.

Version: ISO C++23; implementation support may vary

Syntax

u8"text"
u8R"tag(raw text)tag"

// C++23: a view over the UTF-8 code units of a literal
#include <string_view>
constexpr std::u8string_view text = u8"e\u0301";

u8"Text" ist ein Zeichenkettenliteral mit UTF-8 als Literalkodierung. Seit C++20 ist es ein unveränderliches Array const char8_t[N] mit statischer Speicherdauer; in C++11 bis C++17 war es const char[N]. N umfasst die angehängte abschließende Nulleinheit. Ein Literal ohne Präfix verwendet die gewöhnliche Literalkodierung, die nicht UTF-8 sein muss. In der Rohform u8R"tag(...)tag" leiten Backslashes keine Escape-Sequenzen ein.

Bei der Umwandlung des Arrays in einen Zeiger entsteht const char8_t*, nicht const char*. C++23 erlaubt die direkte Initialisierung von char- und unsigned char-Arrays mit einem u8-Literal, führt aber keine implizite Umwandlung zwischen diesen Zeigertypen ein. Die Unterstützung dieser Korrektur kann je nach Implementierung variieren. std::cout << u8"x" wählt eine gelöschte Überladung aus. Prüfe vor der Übergabe an eine Schnittstelle mit const char*, welche Kodierung sie erwartet.

std::u8string_view aus <string_view> besitzt seine Daten nicht. Ein View auf ein Literal kann während der gesamten Programmlaufzeit auf dessen Speicher verweisen. size() zählt die Codeeinheiten im View. Der Konstruktor mit nur einem Zeiger hält vor der ersten Null an. Übergib Zeiger und Länge, um eingebettete Nullen beizubehalten.

Eine UTF-8-Codeeinheit hat acht Bit. Ein Codepunkt ist ein Zahlenwert im Unicode-Coderaum; UTF-8 kodiert jeden Skalarwert (einen Codepunkt, der kein Surrogat ist) in einer bis vier Einheiten. Ein erweiterter Graphemcluster fasst nach den Unicode-Segmentierungsregeln einen oder mehrere Codepunkte zusammen und entspricht näherungsweise einem wahrgenommenen Schriftzeichen. e gefolgt vom kombinierenden Akut U+0301 ergibt drei Codeeinheiten, zwei Codepunkte und einen solchen Cluster.

Nur bei gültigem UTF-8 lassen sich Codepunkte zählen, indem man alle Einheiten zählt, die keine Fortsetzungseinheiten (10xxxxxx) sind. Um die ersten k Codepunkte zu behalten, beende das Präfix am Beginn des nächsten Codepunkts oder, falls es keinen gibt, am Datenende. Ein beliebiger Codeeinheitenindex kann eine UTF-8-Sequenz trennen; selbst eine Codepunktgrenze kann einen Cluster teilen. Weder dieses Zählen noch dieses Kürzen validiert UTF-8, normalisiert Text oder ermittelt Graphemgrenzen. Selbst u8"\xFF" enthält eine für UTF-8 ungültige Einheit. Validiere nicht vertrauenswürdige Eingaben vor dieser Abkürzung und segmentiere den Text separat, wenn du nach Graphemclustern kürzen willst.

Beispiele

#include <cstddef>
#include <iostream>
#include <string_view>

int main() {
    constexpr auto& literal = u8"e\u0301";
    constexpr std::u8string_view text{literal};
    static_assert(sizeof(literal) == 4 && text.size() == 3);

    std::size_t points = 0;
    std::size_t first_end = text.size();
    for (std::size_t i = 0; i < text.size(); ++i) {
        if ((static_cast<unsigned>(text[i]) & 0xC0u) != 0x80u) {
            ++points;
            if (points == 2) {
                first_end = i;
            }
        }
    }

    const auto prefix = text.substr(0, first_end);
    std::cout << "Code units: " << text.size() << '\n'
              << "Code points: " << points << '\n'
              << "First code point, code units: " << prefix.size() << '\n';
}

Ergebnis

Code units: 3
Code points: 2
First code point, code units: 1

Das Programm gibt Anzahlen aus; das Ergebnis hängt nicht davon ab, ob das Terminal den Akut darstellen kann. Das Präfix enthält nur `e`: Es bleibt gültiges UTF-8, lässt aber den Akut des ursprünglichen Clusters weg. Das Programm zählt keine Graphemcluster.

Zugehörige Lektionen

  • C++ · Lektion 49 · Fortgeschritten · Version: 3

Quellen