Base di conoscenzaCentro esami
ITItaliano
Scegli la lingua13

CKTIS / JavaScript

Unità di codice UTF-16, coppie di surrogati e normalizzazione Unicode

Distingui unità di codice, punti di codice e cluster di grafemi. Verifica che UTF-16 sia ben formato e scegli una forma di normalizzazione per confrontare il testo.

Versione: ECMAScript 2024 and the current web platform; runtime support varies

Sintassi

s.length
s[i]
s.slice(start, end)
s.charCodeAt(i)
s.codePointAt(i);
[...s]
s.isWellFormed()
s.toWellFormed()
s.normalize()
s.normalize(form) // "NFC", "NFD", "NFKC", or "NFKD"
a.normalize("NFC") === b.normalize("NFC")
new Intl.Segmenter(undefined, { granularity: "grapheme" }).segment(s)

Una stringa JavaScript è una sequenza di unità di codice UTF-16 a 16 bit. length, s[i] e slice() operano sulle unità di codice, non sui byte o sui caratteri percepiti. I punti di codice da U+10000 a U+10FFFF richiedono una coppia di surrogati: un surrogato alto (0xD800–0xDBFF) seguito immediatamente da uno basso (0xDC00–0xDFFF). slice() può spezzare la coppia.

charCodeAt(i) restituisce il valore di un’unità di codice. codePointAt(i) legge l’intera coppia solo se inizia all’indice di unità i; altrimenti restituisce il valore della singola unità, anche se è un surrogato basso. Fuori dai limiti restituiscono rispettivamente NaN e undefined. for…of e [...s] mantengono unite le coppie valide, ma iterano per punti di codice, non per cluster di grafemi. Per segmentare cluster come una lettera con un segno combinante, usa Intl.Segmenter con granularity: "grapheme", se disponibile.

Una stringa può contenere surrogati isolati. isWellFormed() restituisce false se ne rileva; toWellFormed() restituisce una stringa in cui ognuno è sostituito da U+FFFD. Entrambi i metodi fanno parte di ECMAScript 2024; verificane il supporto nell’ambiente di destinazione. La riparazione perde informazioni e non è una normalizzazione.

normalize() restituisce una stringa senza modificare l’originale. NFD applica la decomposizione canonica; NFC la fa seguire dalla composizione canonica dove possibile. NFKD applica la decomposizione di compatibilità; NFKC la fa seguire dalla composizione canonica. Le forme di compatibilità possono cancellare distinzioni rilevanti, come quella tra la legatura ff e ff. Omettere l’argomento o passare undefined seleziona NFC; un nome di forma non riconosciuto genera RangeError.

=== confronta sequenze di unità di codice senza normalizzarle. Per considerare uguali forme canonicamente equivalenti, normalizza entrambe le stringhe in NFC prima del confronto. La normalizzazione può cambiare lunghezze e posizioni; da sola non permette il confronto senza distinzione tra maiuscole e minuscole e non protegge dalle sostituzioni ingannevoli con caratteri simili.

Esempi

{
  const face = "\u{1F600}";
  const lone = face.slice(0, 1);
  const composed = "\u00E9";
  const decomposed = "e\u0301";

  console.log(`${face.length} ${[...face].length}`);
  console.log(`${face.charCodeAt(0).toString(16)} ${face.codePointAt(0).toString(16)} ${face.codePointAt(1).toString(16)}`);
  console.log(`${lone.isWellFormed()} ${lone.toWellFormed().codePointAt(0).toString(16)}`);
  console.log(`${composed.length} ${decomposed.length} ${composed === decomposed} ${composed.normalize() === decomposed.normalize()}`);
  console.log(`${"\uFB00".normalize("NFC") === "ff"} ${"\uFB00".normalize("NFKC") === "ff"}`);
}

Risultato

2 1
d83d 1f600 de00
false fffd
1 2 false true
false true

Le prime due righe mostrano un’emoji con due unità di codice ma un solo punto di codice. La terza mostra la riparazione dopo aver spezzato la coppia. La quarta confronta due rappresentazioni di `é`, e la quinta distingue la normalizzazione canonica da quella di compatibilità.

Lezioni correlate

  • JavaScript · Lezione 3 · Avanzato · Versione: 4

Fonti