CKTIS / C++
Strings en tekst: code-eenheden, codepoints en grafeemclusters
Een C++-string slaat elementen op, geen kant-en-klare tekens die de gebruiker ziet. Leer het verschil tussen UTF-8-code-eenheden, Unicode-codepoints en grafeemclusters, en ontdek de rol van std::u8string en een u8-stringliteral.
Versie: C++23; repository compiler flag, production runtime not attested
Syntax
std::string text = "abc";
std::u8string utf8 = u8"e\u0301";std::string bezit een aaneengesloten reeks char-elementen; het type garandeert op zichzelf geen UTF-8. std::u8string slaat char8_t-elementen op die bedoeld zijn voor UTF-8-code-eenheden. Geen van beide containers controleert Unicode-tekst automatisch op geldigheid. size() telt de opgeslagen elementen, zonder de afsluitende nulterminator.
Onderscheid drie niveaus: UTF-8-code-eenheden zijn 8-bits codeereenheden; Unicode-codepoints zijn genummerde posities in Unicode, zoals U+0065; grafeemclusters benaderen de tekens zoals gebruikers die waarnemen. Eén Unicode-scalarwaarde neemt één tot vier UTF-8-code-eenheden in. Eén cluster kan meerdere codepoints bevatten: e gevolgd door U+0301, het combinerende accent aigu, vormt één uitgebreid grafeemcluster, maar bestaat uit twee codepoints en drie UTF-8-code-eenheden.
In C++23 heeft een u8-stringliteral, zoals u8"e\u0301", een arraytype met elementen van het type const char8_t en UTF-8-codering. Het literal bevat een afsluitend nul-element; een std::u8string die uit dit literal is gemaakt, telt het niet mee in size(). char8_t verschilt van char: dit literal kan niet rechtstreeks een std::string initialiseren.
Indexering, iteratie en substr() werken op elementen, niet op grafeemclusters. Een knip midden in een meerbyteige UTF-8-sequentie kan een ongeldige codering opleveren; een knip tussen codepoints kan een cluster splitsen. Voor bewerkingen op waargenomen tekens zijn Unicode-decodering en -segmentatie nodig; size() voert geen van beide zelfstandig uit. Het gekoppelde document is een evoluerend werkdocument, geen definitieve C++23-publicatie; het voorbeeld gebruikt functies die beschikbaar zijn in C++23.
Voorbeelden
#include <iostream>
#include <string>
int main() {
const std::u8string text = u8"e\u0301";
std::cout << "UTF-8 code units: " << text.size() << '\n';
std::cout << "Values:";
for (char8_t unit : text) {
std::cout << ' ' << static_cast<unsigned int>(unit);
}
std::cout << '\n';
}
Resultaat
UTF-8 code units: 3 Values: 101 204 129
De getoonde code en het opgegeven resultaat zijn in een geïsoleerde omgeving geverifieerd met de methode die in het verificatiebewijs voor exact deze versie is vastgelegd.