Base de connaissancesCentre d’examen
FRFrançais
Choisir la langue13

CKTIS / C++

Chaînes et texte : unités de code, points de code et grappes de graphèmes

Une chaîne C++ stocke des éléments, pas directement les caractères perçus par l’utilisateur. Découvrez la différence entre les unités de code UTF-8, les points de code Unicode et les grappes de graphèmes, ainsi que le rôle de `std::u8string` et d’un littéral de chaîne `u8`.

Version : C++23; repository compiler flag, production runtime not attested

Syntaxe

std::string text = "abc";
std::u8string utf8 = u8"e\u0301";

std::string possède une séquence contiguë d’éléments char ; son type seul ne garantit pas l’UTF-8. std::u8string stocke des éléments char8_t destinés aux unités de code UTF-8. Aucun de ces conteneurs ne vérifie automatiquement la validité du texte Unicode. size() compte les éléments stockés, sans inclure le terminateur zéro final.

Distinguez trois niveaux : les unités de code UTF-8 sont des unités de codage de 8 bits ; les points de code Unicode sont des positions numérotées dans Unicode, comme U+0065 ; les grappes de graphèmes correspondent approximativement aux caractères perçus par l’utilisateur. Une valeur scalaire Unicode occupe de une à quatre unités de code UTF-8. Une grappe de graphèmes peut contenir plusieurs points de code : e suivi de U+0301, l’accent aigu combinant, forme une seule grappe de graphèmes étendue, mais la séquence comprend deux points de code et trois unités de code UTF-8.

En C++23, un littéral chaîne u8, par exemple u8"e\u0301", a un type tableau dont les éléments sont de type const char8_t, et utilise l’encodage UTF-8. Le littéral inclut un élément zéro final ; un std::u8string construit à partir de ce littéral ne le compte pas dans size(). char8_t est distinct de char : ce littéral ne peut pas initialiser directement un std::string.

L’indexation, l’itération et substr() portent sur les éléments, pas sur les grappes de graphèmes. Une coupure au milieu d’une séquence UTF-8 de plusieurs unités peut produire un encodage invalide, tandis qu’une coupure entre deux points de code peut scinder une grappe de graphèmes. Les opérations sur les caractères perçus par l’utilisateur nécessitent le décodage et la segmentation Unicode ; size() ne réalise ni l’un ni l’autre à lui seul. Le document lié est un projet de travail en évolution, et non une publication C++23 définitive ; l’exemple utilise des fonctionnalités disponibles en C++23.

Exemples

#include <iostream>
#include <string>

int main() {
    const std::u8string text = u8"e\u0301";
    std::cout << "UTF-8 code units: " << text.size() << '\n';
    std::cout << "Values:";
    for (char8_t unit : text) {
        std::cout << ' ' << static_cast<unsigned int>(unit);
    }
    std::cout << '\n';
}

Résultat

UTF-8 code units: 3
Values: 101 204 129

Le code affiché et le résultat déclaré ont été vérifiés dans un environnement isolé selon la méthode consignée dans la preuve de vérification de cette version exacte.

Sources