CKTIS / JavaScript
Intl.Segmenter — segmentacija teksta prilagođena jeziku
Intl.Segmenter pomoću jezično prilagođenih pravila određuje granice grafema, riječi ili rečenica. Metoda segment() vraća iterabilne opise segmenata, a isWordLike omogućuje odabir onih klasificiranih kao riječi.
Verzija: ECMAScript and Web APIs; exact feature edition and browser support reviewed per entry; Node 24 in repository does not prove browser API support
Sintaksa
new Intl.Segmenter(locales, { granularity: "word" }).segment(text)Intl.Segmenter JavaScriptov je API za internacionalizaciju specificiran u ECMA-402 i prisutan već u izdanju iz 2022. Nije DOM API. Konstruktor zahtijeva new. Opcija granularity prihvaća "grapheme" (zadano), "word" ili "sentence" te odabire grafeme, riječi ili rečenice. Grafem može sadržavati više kodnih točaka pa nije isto što i jedna UTF-16 kodna jedinica.
Intl.Segmenter.prototype.segment(text) vraća iterabilni objekt Segments, a ne polje. Svaki opis sadrži segment — tekstualni odsječak, index — njegov početni indeks u UTF-16 kodnim jedinicama — i input — cijeli ulazni tekst. Ako ti treba polje, upotrijebi Array.from().
Samo uz granularity: "word" opis ima logičko svojstvo isWordLike. To nije metoda segmentera. U rezultatima se pojavljuju i razmaci i interpunkcija; filtar part.isWordLike obično ih uklanja. Klasifikacija i granice ovise o implementaciji i jezičnim podacima, stoga ovo nemoj smatrati univerzalnim gramatičkim analizatorom.
Primjer odabire riječi i ispisuje njihove indekse. Fiksiranje localea na "en" smanjuje ovisnost o zadanom jeziku, ali ne jamči jednaku segmentaciju proizvoljnog teksta u svim engineima. Dostupnost provjeri u ciljnom pregledniku: dostupnost u Nodeu 24 ne dokazuje podršku u preglednicima. Navedeni izvori standarda ne utvrđuju podržane verzije preglednika.
Primjeri
if (typeof Intl === "undefined" || typeof Intl.Segmenter !== "function") {
throw new Error("Intl.Segmenter is unavailable");
}
const text = "Hello, world!";
const segmenter = new Intl.Segmenter("en", { granularity: "word" });
const words = Array.from(segmenter.segment(text))
.filter(part => part.isWordLike)
.map(part => `${part.segment}@${part.index}`);
console.log(words.join(" | "));Rezultat
Hello@0 | world@7
Prikazani kôd i navedeni rezultat provjereni su u izoliranom okruženju metodom zabilježenom u dokazu provjere za ovu točnu verziju.