WissensdatenbankPrüfungszentrum
DEDeutsch
Sprache wählen13

CKTIS / C++

UTF-8 in C++: Codeeinheiten, Codepunkte und Graphemcluster

Die Länge von UTF-8-Text hängt davon ab, ob man Codeeinheiten, Codepunkte oder Graphemcluster zählt. Das Beispiel zählt und kürzt wohlgeformtes UTF-8, ohne einen Codepunkt zu zerteilen.

Version: ISO C++23; implementation support may vary

Syntax

// u8"text" has type const char8_t[5]; the bound includes the terminating zero code unit.
std::u8string_view text = u8"text";  // <string_view>
text.size();       // number of code units in the view
text.substr(0, n); // prefix of up to n code units; no Unicode boundary check

Eine UTF-8-Codeeinheit ist ein Oktett mit 8 Bit. Ein Codepunkt ist ein numerischer Wert in Unicode, etwa U+0301. Jeder Unicode-Skalarwert (ein Codepunkt außerhalb des Surrogatbereichs) belegt in wohlgeformtem UTF-8 eine bis vier Codeeinheiten. Ein erweitertes Graphemcluster besteht aus einem oder mehreren Codepunkten, die nach den Unicode-Segmentierungsregeln (UAX #29) gruppiert werden. Es entspricht näherungsweise einem wahrgenommenen Zeichen und gibt keine Anzeigebreite an.

Seit C++20 hat ein Literal u8"..." den Typ const char8_t[N]; N schließt die abschließende Null-Codeeinheit ein. Anders als bei einem gewöhnlichen "..."-Literal lässt sich der aus dem Array gewonnene Zeiger nicht implizit in const char* umwandeln. std::u8string_view aus <string_view> besitzt die Daten nicht. size() zählt die Codeeinheiten der Ansicht, und der Konstruktor mit nur einem Zeiger endet an der ersten Null. Für eingebettete Nullen verwende Zeiger und Länge eines gültigen Bereichs. Ein Literal existiert während der gesamten Programmlaufzeit; anderer zugrunde liegender Speicher muss gültig bleiben, solange die Ansicht verwendet wird.

In wohlgeformtem UTF-8 beginnt jeder Codepunkt mit genau einer Codeeinheit, die keine Fortsetzungseinheit ist. Fortsetzungseinheiten haben das Bitmuster 10xxxxxx. Die Anfänge lassen sich also zählen, ohne die Werte zu dekodieren. substr(0, n) schneidet nach Codeeinheiten und kann eine mehrteilige Sequenz zerteilen. Für das längste Präfix innerhalb eines Codeeinheitenlimits verschiebe die Schnittposition zurück, solange sie auf eine Fortsetzungseinheit zeigt, bis eine Codepunktgrenze erreicht ist.

Zählen und Kürzen setzen wohlgeformtes UTF-8 voraus: Sie validieren die Kodierung nicht, normalisieren keinen Text und ermitteln keine Graphemgrenzen. Prüfe nicht vertrauenswürdige Eingaben zuerst und weise fehlerhafte Daten zurück oder wende eine ausdrücklich festgelegte Ersetzungsregel an. Zum Kürzen nach wahrgenommenen Zeichen nutze eine Bibliothek mit Unicode-Graphemsegmentierung; C++23 bietet dafür keine allgemeine API.

Beispiele

#include <cstddef>
#include <iostream>
#include <string_view>

constexpr bool is_continuation(char8_t unit) noexcept {
    return (unit & 0xC0u) == 0x80u;
}

// Precondition: text is well-formed UTF-8.
constexpr std::size_t count_code_points(std::u8string_view text) noexcept {
    std::size_t count = 0;
    for (char8_t unit : text) {
        if (!is_continuation(unit)) {
            ++count;
        }
    }
    return count;
}

// Precondition: text is well-formed UTF-8.
constexpr std::u8string_view trim_to_unit_budget(
    std::u8string_view text, std::size_t max_units) {
    auto end = max_units < text.size() ? max_units : text.size();
    while (end > 0 && end < text.size() && is_continuation(text[end])) {
        --end;
    }
    return text.substr(0, end);
}

int main() {
    constexpr std::u8string_view text = u8"e\u0301\U0001F642";
    constexpr auto prefix = trim_to_unit_budget(text, 2);
    static_assert(text.size() == 7);
    static_assert(count_code_points(text) == 3);
    static_assert(prefix == u8"e");

    std::cout << "code_units: " << text.size() << '\n'
              << "code_points: " << count_code_points(text) << '\n'
              << "prefix_code_units: " << prefix.size() << '\n';
}

Ergebnis

code_units: 7
code_points: 3
prefix_code_units: 1

`e`, U+0301 und das Emoji U+1F642 benötigen jeweils 1, 2 und 4 Codeeinheiten: insgesamt 7 Codeeinheiten, 3 Codepunkte und 2 Graphemcluster. Ein Limit von 2 würde mitten in der Kodierung von U+0301 schneiden; die Funktion behält deshalb nur `e`. Das Präfix ist wohlgeformtes UTF-8, verliert aber den Akzent. Das Programm berechnet die Clusteranzahl nicht.

Zugehörige Lektionen

  • C++ · Lektion 49 · Fortgeschritten · Version: 3

Quellen