CKTIS / JavaScript
Unités de code UTF-16 et paires de substituts
La longueur d’une chaîne JavaScript compte les unités de code UTF-16, et non les points de code Unicode ni les caractères perçus. Cette distinction importe pour l’indexation, l’extraction et l’itération.
Version : ECMAScript 2024 and the current web platform; runtime support varies
Syntaxe
s.length; s[i]; s.slice(start, end); s.charCodeAt(i); s.codePointAt(i); [...s]; s.isWellFormed(); s.toWellFormed(); new Intl.Segmenter(undefined, { granularity: "grapheme" }).segment(s)Dans ECMAScript 2024, une valeur String est une suite d’unités de code de 16 bits. En UTF-16 bien formé, une valeur scalaire Unicode de U+0000 à U+FFFF (hors U+D800–U+DFFF) occupe une unité. Une valeur de U+10000 à U+10FFFF en occupe deux : un substitut haut (0xD800–0xDBFF) immédiatement suivi d’un substitut bas (0xDC00–0xDFFF). Cette paire encode un seul point de code.
s.length compte les unités de code. s[i], s.slice(start, end) et s.charCodeAt(i) utilisent également des indices d’unités de code commençant à zéro. Pour un indice dans les limites de la chaîne, s[i] renvoie une chaîne contenant une seule unité de code ; hors limites, il renvoie normalement undefined. slice exclut end et peut scinder une paire, et charCodeAt renvoie la valeur numérique de l’unité (NaN hors limites). s.codePointAt(i) utilise le même type d’indice : au début d’une paire, il renvoie la valeur numérique du point de code complet ; sinon, celle de l’unité seule, même si elle est la seconde moitié d’une paire. Hors limites, il renvoie undefined.
for...of et [...s] utilisent l’itérateur de chaîne, qui renvoie chaque paire valide d’un seul bloc et toute autre unité séparément, y compris les substituts isolés. Ce n’est pas une segmentation en grappes de graphèmes, qui correspondent approximativement aux caractères perçus. Par exemple, e suivi d’un accent aigu combinant forme deux points de code, mais une seule grappe. Pour segmenter le texte en graphèmes, utilisez Intl.Segmenter avec granularity: "grapheme", si l’environnement le prend en charge.
JavaScript autorise les substituts isolés dans les chaînes. s.isWellFormed() renvoie false s’il y en a au moins un. s.toWellFormed() renvoie une chaîne où chacun est remplacé par U+FFFD, sans modifier l’original. Si un UTF-16 bien formé est requis, choisissez de rejeter ou de réparer l’entrée : le remplacement entraîne une perte d’information. Vérifiez la disponibilité de ces méthodes dans l’environnement cible.
Exemples
{
const s = "A\u{1F600}e\u0301";
const hex = n => n.toString(16).toUpperCase();
console.log(`length=${s.length}; iterator=${[...s].length}`);
console.log(`units=${hex(s.charCodeAt(1))} ${hex(s.charCodeAt(2))}`);
console.log(`codePointAt(1)=${hex(s.codePointAt(1))}; codePointAt(2)=${hex(s.codePointAt(2))}`);
console.log(`slice(1, 2) is lone high surrogate: ${s.slice(1, 2) === "\uD83D"}`);
}Résultat
length=5; iterator=4 units=D83D DE00 codePointAt(1)=1F600; codePointAt(2)=DE00 slice(1, 2) is lone high surrogate: true
La chaîne contient cinq unités de code et produit quatre éléments à l’itération. Les indices `1` et `2` désignent les deux moitiés de l’émoji ; `slice(1, 2)` ne conserve que le substitut haut.
Leçons associées
- JavaScript · Leçon 2 · Avancé · Version : 4