Base de connaissancesCentre d’examen
FRFrançais
Choisir la langue13

CKTIS / JavaScript

Unités de code UTF-16, paires de substituts et normalisation Unicode

Distinguez unités de code, points de code et graphèmes. Vérifiez qu’une chaîne est bien formée en UTF-16 et choisissez une normalisation pour la comparer.

Version : ECMAScript 2024 and the current web platform; runtime support varies

Syntaxe

s.length
s[i]
s.slice(start, end)
s.charCodeAt(i)
s.codePointAt(i);
[...s]
s.isWellFormed()
s.toWellFormed()
s.normalize()
s.normalize(form) // "NFC", "NFD", "NFKC", or "NFKD"
a.normalize("NFC") === b.normalize("NFC")
new Intl.Segmenter(undefined, { granularity: "grapheme" }).segment(s)

Une chaîne JavaScript est une suite d’unités de code UTF-16 de 16 bits. length, s[i] et slice() travaillent en unités de code, pas en octets ni en caractères perçus. Les points de code de U+10000 à U+10FFFF exigent une paire de substituts : un substitut haut (0xD800–0xDBFF) immédiatement suivi d’un substitut bas (0xDC00–0xDFFF). slice() peut couper une paire en deux.

charCodeAt(i) renvoie la valeur d’une unité de code. codePointAt(i) lit la paire entière seulement si elle commence à l’indice d’unité de code i ; sinon, il renvoie la valeur d’une seule unité, y compris celle d’un substitut bas. Hors limites, ces méthodes renvoient respectivement NaN et undefined. for…of et [...s] préservent les paires valides, mais parcourent les points de code, pas les grappes de graphèmes. Pour segmenter des graphèmes, par exemple une lettre suivie d’une marque combinatoire, utilisez Intl.Segmenter avec granularity: "grapheme" si disponible.

Une chaîne peut contenir des substituts isolés. isWellFormed() renvoie alors false ; toWellFormed() renvoie une chaîne où chacun est remplacé par U+FFFD. Ces méthodes font partie d’ECMAScript 2024 ; vérifiez leur disponibilité dans l’environnement cible. Cette réparation perd de l’information et n’est pas une normalisation.

normalize() renvoie une chaîne sans modifier l’originale. NFD applique la décomposition canonique ; NFC la fait suivre d’une composition canonique lorsque c’est possible. NFKD applique la décomposition de compatibilité ; NFKC la fait suivre d’une composition canonique. Les formes de compatibilité peuvent effacer des différences utiles, comme celle entre la ligature ff et ff. Omettre l’argument ou passer undefined sélectionne NFC ; un nom de forme non reconnu déclenche une RangeError.

=== compare les suites d’unités de code sans les normaliser. Pour traiter des formes canoniquement équivalentes comme égales, normalisez les deux chaînes en NFC avant de les comparer. La normalisation peut changer les longueurs et les positions. Elle ne permet pas à elle seule d’ignorer la casse ni de se protéger contre l’usurpation par des caractères visuellement similaires.

Exemples

{
  const face = "\u{1F600}";
  const lone = face.slice(0, 1);
  const composed = "\u00E9";
  const decomposed = "e\u0301";

  console.log(`${face.length} ${[...face].length}`);
  console.log(`${face.charCodeAt(0).toString(16)} ${face.codePointAt(0).toString(16)} ${face.codePointAt(1).toString(16)}`);
  console.log(`${lone.isWellFormed()} ${lone.toWellFormed().codePointAt(0).toString(16)}`);
  console.log(`${composed.length} ${decomposed.length} ${composed === decomposed} ${composed.normalize() === decomposed.normalize()}`);
  console.log(`${"\uFB00".normalize("NFC") === "ff"} ${"\uFB00".normalize("NFKC") === "ff"}`);
}

Résultat

2 1
d83d 1f600 de00
false fffd
1 2 false true
false true

Les deux premières lignes montrent un emoji composé de deux unités de code mais d’un seul point de code. La troisième montre la réparation après la coupure de la paire. La quatrième compare deux représentations de `é`, et la cinquième distingue normalisation canonique et de compatibilité.

Leçons associées

  • JavaScript · Leçon 3 · Avancé · Version : 4

Sources