CKTIS / C++
UTF-8 in C++: code-eenheden, codepunten en grafeemclusters
De lengte van UTF-8-tekst hangt af van wat je telt: code-eenheden, codepunten of grafeemclusters. Het voorbeeld telt en kort geldige UTF-8 in zonder een codepunt te splitsen.
Versie: ISO C++23; implementation support may vary
Syntax
// u8"text" has type const char8_t[5]; the bound includes the terminating zero code unit.
std::u8string_view text = u8"text"; // <string_view>
text.size(); // number of code units in the view
text.substr(0, n); // prefix of up to n code units; no Unicode boundary checkEen UTF-8-code-eenheid is een octet van 8 bits. Een codepunt is een numerieke Unicode-waarde, zoals U+0301. Elke Unicode-scalaire waarde (een codepunt buiten het surrogaatbereik) neemt in geldige UTF-8 één tot vier code-eenheden in. Een uitgebreid grafeemcluster bestaat uit een of meer codepunten die volgens de Unicode-segmentatieregels (UAX #29) bij elkaar horen. Het benadert wat een gebruiker als één teken ervaart en is geen maat voor de weergavebreedte.
Sinds C++20 heeft een u8"..."-literal het type const char8_t[N], waarbij N de afsluitende nul-eenheid omvat. Anders dan bij een gewone "..."-literal wordt de pointer uit de array niet impliciet omgezet naar const char*. std::u8string_view uit <string_view> is een view die de gegevens niet bezit. size() telt de code-eenheden in de view en de constructor met alleen een pointer stopt bij de eerste nul. Geef voor ingebedde nullen een pointer en de lengte van een geldig bereik op. Een literal bestaat zolang het programma draait; andere onderliggende opslag moet geldig blijven zolang de view wordt gebruikt.
In geldige UTF-8 begint elk codepunt met precies één eenheid die geen vervolgeenheid is. Vervolgeenheden hebben het bitpatroon 10xxxxxx. Je kunt dus de beginposities tellen zonder de waarden te decoderen. substr(0, n) knipt op basis van code-eenheden en kan een reeks van meerdere eenheden splitsen. Voor het langste voorvoegsel binnen een limiet verschuif je het knippunt naar links zolang het een vervolgeenheid aanwijst, tot aan een codepuntgrens.
Tellen en inkorten gaan uit van geldige UTF-8: ze valideren de codering niet, normaliseren de tekst niet en bepalen geen grafeemgrenzen. Valideer onbetrouwbare invoer eerst en weiger ongeldige gegevens of pas een expliciet vervangingsbeleid toe. Gebruik om op waargenomen tekens in te korten een bibliotheek die Unicode-grafeemsegmentatie implementeert; C++23 bevat hiervoor geen algemene API.
Voorbeelden
#include <cstddef>
#include <iostream>
#include <string_view>
constexpr bool is_continuation(char8_t unit) noexcept {
return (unit & 0xC0u) == 0x80u;
}
// Precondition: text is well-formed UTF-8.
constexpr std::size_t count_code_points(std::u8string_view text) noexcept {
std::size_t count = 0;
for (char8_t unit : text) {
if (!is_continuation(unit)) {
++count;
}
}
return count;
}
// Precondition: text is well-formed UTF-8.
constexpr std::u8string_view trim_to_unit_budget(
std::u8string_view text, std::size_t max_units) {
auto end = max_units < text.size() ? max_units : text.size();
while (end > 0 && end < text.size() && is_continuation(text[end])) {
--end;
}
return text.substr(0, end);
}
int main() {
constexpr std::u8string_view text = u8"e\u0301\U0001F642";
constexpr auto prefix = trim_to_unit_budget(text, 2);
static_assert(text.size() == 7);
static_assert(count_code_points(text) == 3);
static_assert(prefix == u8"e");
std::cout << "code_units: " << text.size() << '\n'
<< "code_points: " << count_code_points(text) << '\n'
<< "prefix_code_units: " << prefix.size() << '\n';
}Resultaat
code_units: 7 code_points: 3 prefix_code_units: 1
`e`, U+0301 en de emoji U+1F642 nemen respectievelijk 1, 2 en 4 eenheden in: samen 7 code-eenheden, 3 codepunten en 2 grafeemclusters. Een limiet van 2 zou midden in de codering van U+0301 knippen, dus de functie bewaart alleen `e`. Het voorvoegsel blijft geldige UTF-8, maar verliest het accent. Het programma berekent het aantal clusters niet.
Gerelateerde lessen
- C++ · Les 49 · Gevorderd · Versie: 3
Bronnen
- String literals [lex.string]
- Character sets [lex.charset]
- Compatibility with ISO C++ 2017: lexical conventions [diff.cpp17.lex]
- Header <string_view> synopsis [string.view.synop]
- Construction and assignment [string.view.cons]
- Capacity [string.view.capacity]
- String operations [string.view.ops]
- Standard format specifiers [format.string.std]
- N4950 — Working Draft, Standard for Programming Language C++
- Unicode Standard Annex #29: Unicode Text Segmentation