CKTIS / C++
u8-tekenreeksliteral: code-eenheden, codepunten en grafeemclusters
Het voorvoegsel `u8` kiest UTF-8 voor de literal. De lengte in code-eenheden, het aantal codepunten en het aantal grafeemclusters meten verschillende dingen.
Versie: ISO C++23; implementation support may vary
Syntax
u8"text"
u8R"tag(raw text)tag"
// C++23: a view over the UTF-8 code units of a literal
#include <string_view>
constexpr std::u8string_view text = u8"e\u0301";u8"tekst" is een tekenreeksliteral met UTF-8 als codering. Sinds C++20 is het een niet-wijzigbare array const char8_t[N] met statische opslagduur; van C++11 tot en met C++17 was het type const char[N]. N telt de toegevoegde afsluitende nuleenheid mee. Een literal zonder voorvoegsel gebruikt de gewone literalcodering, die niet per se UTF-8 is. In de ruwe vorm u8R"tag(...)tag" beginnen backslashes geen escape-reeksen.
Wanneer de array in een pointer wordt omgezet, krijg je const char8_t*, niet const char*. C++23 staat toe dat je arrays van char of unsigned char rechtstreeks met een u8-literal initialiseert, maar voegt geen impliciete conversie tussen deze pointertypen toe. Ondersteuning van die correctie kan per implementatie verschillen. std::cout << u8"x" selecteert een verwijderde overload. Controleer welke codering een interface verwacht voordat je er tekst aan doorgeeft als const char*.
std::u8string_view uit <string_view> is geen eigenaar van de gegevens. Een view op een literal kan tijdens de hele uitvoering van het programma naar die opslag verwijzen. size() telt de code-eenheden in de view. De constructor met alleen een pointer stopt vóór de eerste nul; geef een pointer én een lengte door om interne nullen te behouden.
Een UTF-8-code-eenheid is acht bits. Een codepunt is een getalswaarde in de Unicode-coderuimte; UTF-8 codeert elke scalaire waarde (een codepunt dat geen surrogaat is) in één tot vier eenheden. Een uitgebreid grafeemcluster groepeert één of meer codepunten volgens de segmentatieregels van Unicode en benadert wat een gebruiker als één teken waarneemt. e gevolgd door het combinerende accent aigu U+0301 bestaat uit drie code-eenheden, twee codepunten en één zo’n cluster.
Alleen bij geldige UTF-8 kun je codepunten tellen door de eenheden te tellen die geen vervolgeenheid (10xxxxxx) zijn. Om de eerste k codepunten te behouden, eindig je het voorvoegsel aan het begin van het volgende codepunt, of aan het einde van de gegevens als er geen volgend punt is. Knippen op een willekeurige index van een code-eenheid kan een UTF-8-reeks splitsen; knippen op een codepuntgrens kan een cluster splitsen. Noch deze telling, noch dit inkorten valideert UTF-8, normaliseert tekst of bepaalt grafeemgrenzen. Zelfs u8"\xFF" bevat een voor UTF-8 ongeldige eenheid. Valideer onbetrouwbare invoer voordat je deze verkorte methode gebruikt en segmenteer de tekst apart als je per grafeemcluster wilt inkorten.
Voorbeelden
#include <cstddef>
#include <iostream>
#include <string_view>
int main() {
constexpr auto& literal = u8"e\u0301";
constexpr std::u8string_view text{literal};
static_assert(sizeof(literal) == 4 && text.size() == 3);
std::size_t points = 0;
std::size_t first_end = text.size();
for (std::size_t i = 0; i < text.size(); ++i) {
if ((static_cast<unsigned>(text[i]) & 0xC0u) != 0x80u) {
++points;
if (points == 2) {
first_end = i;
}
}
}
const auto prefix = text.substr(0, first_end);
std::cout << "Code units: " << text.size() << '\n'
<< "Code points: " << points << '\n'
<< "First code point, code units: " << prefix.size() << '\n';
}
Resultaat
Code units: 3 Code points: 2 First code point, code units: 1
Het programma drukt aantallen af, dus het resultaat hangt niet af van de weergave van het accent in de terminal. Het voorvoegsel bevat alleen `e`: het blijft geldige UTF-8, maar mist het accent van het oorspronkelijke cluster. Het programma telt geen grafeemclusters.
Gerelateerde lessen
- C++ · Les 49 · Gevorderd · Versie: 3
Bronnen
- String literals [lex.string]
- Character sets [lex.charset]
- Character arrays [dcl.init.string]
- Output streams — General [ostream.general]
- Header <string_view> synopsis [string.view.synop]
- basic_string_view construction and assignment [string.view.cons]
- basic_string_view capacity [string.view.capacity]
- Standard format specifiers [format.string.std] — reference to extended grapheme clusters
- N4950 — Working Draft, Standard for Programming Language C++
- N4606 — Working Draft, Standard for Programming Language C++
- P2728R7 — Unicode in the Library, Part 1: UTF Transcoding