Baza znanjaCentar za ispite
HRHrvatski
Odaberi jezik13

CKTIS / JavaScript

Znakovni nizovi: UTF-16, kodne točke i grafemi

JavaScriptov znakovni niz nepromjenjiv je niz UTF-16 kodnih jedinica. Saznajte po čemu se razlikuju kodne jedinice, kodne točke i grafemi te zašto je normalizacija važna pri usporedbi teksta.

Verzija: ECMAScript and Web APIs; exact feature edition and browser support reviewed per entry; Node 24 in repository does not prove browser API support

Sintaksa

text.length; text[index]; [...text]; text.normalize("NFC"); new Intl.Segmenter("en", { granularity: "grapheme" }).segment(text)

Vrijednost string nepromjenjiva je: tekstne operacije ne mijenjaju postojeću vrijednost. length i indeksiranje pomoću text[index] odnose se na 16-bitne UTF-16 kodne jedinice, a ne na znakove koje korisnici doživljavaju kao pojedinačne. Kodna točka izvan osnovne višejezične ravnine Unicodea, primjerice 😀, zauzima surogatski par, odnosno dvije kodne jedinice. Niz može sadržavati i izdvojeni surogat pa ne mora biti pravilno oblikovan UTF-16 tekst.

Iterator niza, koji upotrebljavaju for...of i [...text], čuva valjane surogatske parove i prolazi kodne točke. To ipak ne broji grafeme: grafem približno predstavlja jedan znak koji korisnik doživljava kao cjelinu i može sadržavati nekoliko kodnih točaka, kao slovo praćeno kombinirajućim naglaskom. split("") dijeli kodne jedinice, a ne grafeme. Za segmentaciju grafema upotrijebite Intl.Segmenter s { granularity: "grapheme" }, definiranim u ECMA-402; prije upotrebe provjerite je li dostupan u ciljnom okruženju. Verzija Nodea u repozitoriju ne dokazuje podršku u preglednicima.

=== uspoređuje nizove kodnih jedinica bez automatske normalizacije. Zato "\u00E9" i "e\u0301" nisu jednaki, iako su kanonski ekvivalentni. normalize("NFC") omogućuje usporedbu nakon kanonske normalizacije. Dostupni su i NFD, NFKC i NFKD; oblici kompatibilnosti mogu ukloniti razlike važne za aplikaciju. Normalizacija ne zamjenjuje segmentaciju grafema ni usporedbu koja ne razlikuje velika i mala slova.

Primjer zahtijeva ECMAScript 2015: upotrebljava iterator niza, sintaksu spread i normalize. Tekst sadrži četiri kodne jedinice, tri kodne točke i dva grafema. Primjer ne zahtijeva Intl.Segmenter ni Web API-je.

Referentni identifikatori obuhvaćeni ovim unosom: UTF-16, code points, graphemes and normalization.

Primjeri

const text = "\u{1F600}e\u0301";
const composed = "\u00E9";
const decomposed = "e\u0301";

console.log(text.length);
console.log([...text].length);
console.log(composed === decomposed);
console.log(composed.normalize("NFC") === decomposed.normalize("NFC"));

Rezultat

4
3
false
true

Prikazani kôd i navedeni rezultat provjereni su u izoliranom okruženju metodom zabilježenom u dokazu provjere za ovu točnu verziju.

Izvori