Baza znanjaIzpitno središče
SLSlovenščina
Izberi jezik13

CKTIS / JavaScript

Nizi: UTF-16, kodne točke in grafemi

Niz v JavaScriptu je nespremenljivo zaporedje kodnih enot UTF-16. Spoznajte razliko med kodnimi enotami, kodnimi točkami in grafemi ter zakaj je normalizacija pomembna pri primerjanju besedila.

Različica: ECMAScript and Web APIs; exact feature edition and browser support reviewed per entry; Node 24 in repository does not prove browser API support

Sintaksa

text.length; text[index]; [...text]; text.normalize("NFC"); new Intl.Segmenter("en", { granularity: "grapheme" }).segment(text)

Vrednost string je nespremenljiva: besedilne operacije ne spremenijo obstoječe vrednosti. length in indeksiranje z text[index] se nanašata na 16-bitne kodne enote UTF-16, ne na znake, kot jih zaznava uporabnik. Kodna točka zunaj osnovne večjezične ravnine Unicode, na primer 😀, zasede nadomestniški par oziroma dve kodni enoti. Niz lahko vsebuje tudi osamljen nadomestek, zato ni nujno pravilno oblikovano besedilo UTF-16.

Iterator nizov, ki ga uporabljata for...of in [...text], ohrani veljavne nadomestniške pare in se sprehaja po kodnih točkah. Kljub temu ne šteje grafemov: grafem približno ustreza enemu znaku, kot ga zaznava uporabnik, in lahko vsebuje več kodnih točk, na primer črko, ki ji sledi združevalni naglas. split("") razdeli kodne enote, ne grafemov. Za segmentacijo grafemov uporabite Intl.Segmenter z { granularity: "grapheme" }, določen v ECMA-402; pred uporabo preverite, ali je na voljo v ciljnem okolju. Različica Node v repozitoriju ne dokazuje podpore v brskalnikih.

=== primerja zaporedja kodnih enot brez samodejne normalizacije. Zato "\u00E9" in "e\u0301" nista enaka, čeprav sta kanonično enakovredna. normalize("NFC") omogoča primerjavo po kanonični normalizaciji. Na voljo so tudi NFD, NFKC in NFKD; oblike združljivosti lahko odstranijo razlike, pomembne za aplikacijo. Normalizacija ne nadomesti segmentacije grafemov ali primerjave, ki ne razlikuje med velikimi in malimi črkami.

Primer zahteva ECMAScript 2015: uporablja iterator nizov, sintakso spread in normalize. Besedilo vsebuje štiri kodne enote, tri kodne točke in dva grafema. Primer ne zahteva Intl.Segmenter ali spletnih API-jev.

Referenčni identifikatorji, zajeti v tem geslu: UTF-16, code points, graphemes and normalization.

Primeri

const text = "\u{1F600}e\u0301";
const composed = "\u00E9";
const decomposed = "e\u0301";

console.log(text.length);
console.log([...text].length);
console.log(composed === decomposed);
console.log(composed.normalize("NFC") === decomposed.normalize("NFC"));

Rezultat

4
3
false
true

Prikazana koda in navedeni rezultat sta bila preverjena v izoliranem okolju z metodo, zapisano v dokazilu o preverjanju te natančne različice.

Viri