CKTIS / C++
Strings und Text: Codeeinheiten, Codepoints und Graphemcluster
Ein C++-String speichert Elemente, keine fertigen, für Menschen sichtbaren Zeichen. Lerne den Unterschied zwischen UTF-8-Codeeinheiten, Unicode-Codepoints und Graphemclustern kennen und erfahre, welche Rolle std::u8string und ein u8-Stringliteral spielen.
Version: C++23; repository compiler flag, production runtime not attested
Syntax
std::string text = "abc";
std::u8string utf8 = u8"e\u0301";std::string besitzt eine zusammenhängende Folge von char-Elementen; der Typ allein garantiert kein UTF-8. std::u8string speichert char8_t-Elemente, die für UTF-8-Codeeinheiten vorgesehen sind. Keiner der beiden Container prüft Unicode-Text automatisch auf Gültigkeit. size() zählt die gespeicherten Elemente, ohne den abschließenden Nullterminator.
Unterscheide drei Ebenen: UTF-8-Codeeinheiten sind 8-Bit-Kodierungseinheiten; Unicode-Codepoints sind nummerierte Positionen in Unicode, etwa U+0065; Graphemcluster nähern sich den von Menschen wahrgenommenen Zeichen an. Ein Unicode-Skalarwert belegt eine bis vier UTF-8-Codeeinheiten. Ein Cluster kann mehrere Codepoints enthalten: e gefolgt von U+0301, dem kombinierenden Akut, bildet ein erweitertes Graphemcluster, aber zwei Codepoints und drei UTF-8-Codeeinheiten.
In C++23 hat ein u8-Stringliteral, etwa u8"e\u0301", einen Arraytyp mit const char8_t-Elementen und UTF-8-Kodierung. Das Literal enthält ein abschließendes Nullelement; ein daraus erstelltes std::u8string zählt es nicht in size(). char8_t unterscheidet sich von char: Dieses Literal kann nicht direkt ein std::string initialisieren.
Indizierung, Iteration und substr() arbeiten mit Elementen, nicht mit Graphemclustern. Ein Schnitt innerhalb einer mehrbyteigen UTF-8-Sequenz kann eine ungültige Kodierung erzeugen; ein Schnitt zwischen Codepoints kann einen Cluster trennen. Für Operationen auf wahrgenommenen Zeichen sind Unicode-Dekodierung und -Segmentierung erforderlich; size() allein führt beides nicht aus. Das verlinkte Dokument ist ein fortlaufend weiterentwickelter Arbeitsentwurf, keine endgültige C++23-Veröffentlichung; das Beispiel verwendet Funktionen, die in C++23 verfügbar sind.
Beispiele
#include <iostream>
#include <string>
int main() {
const std::u8string text = u8"e\u0301";
std::cout << "UTF-8 code units: " << text.size() << '\n';
std::cout << "Values:";
for (char8_t unit : text) {
std::cout << ' ' << static_cast<unsigned int>(unit);
}
std::cout << '\n';
}
Ergebnis
UTF-8 code units: 3 Values: 101 204 129
Der angezeigte Code und das angegebene Ergebnis wurden in einer isolierten Umgebung mit der im Prüfnachweis für genau diese Version dokumentierten Methode verifiziert.