CKTIS / JavaScript
Intl.Segmenter — сегментиране на текст според езика
Intl.Segmenter определя границите на графеми, думи или изречения чрез правила, съобразени с езика. Методът segment() връща итерируеми описания на сегментите, а isWordLike позволява да изберете класифицираните като думи.
Версия: ECMAScript and Web APIs; exact feature edition and browser support reviewed per entry; Node 24 in repository does not prove browser API support
Синтаксис
new Intl.Segmenter(locales, { granularity: "word" }).segment(text)Intl.Segmenter е JavaScript API за интернационализация, специфициран в ECMA-402 и включен още в изданието от 2022 г. Това не е DOM API. Конструкторът изисква new. Опцията granularity приема "grapheme" (по подразбиране), "word" или "sentence" и избира графеми, думи или изречения. Една графема може да съдържа няколко кодови точки и затова не е същото като една UTF-16 кодова единица.
Intl.Segmenter.prototype.segment(text) връща итерируем обект Segments, а не масив. Всяко описание съдържа segment — текстовия фрагмент, index — началния му индекс в UTF-16 кодови единици, и input — целия входен текст. Използвайте Array.from(), ако ви е необходим масив.
Само при granularity: "word" описанието има булевото свойство isWordLike. То не е метод на сегментатора. В резултатите присъстват и интервали и пунктуация; филтърът part.isWordLike обикновено ги премахва. Класификацията и границите зависят от реализацията и езиковите данни, затова не приемайте API за универсален граматичен анализатор.
Примерът избира думите и извежда индексите им. Фиксирането на locale на "en" намалява зависимостта от езика по подразбиране, но не гарантира еднакво сегментиране на произволен текст във всички енджини. Проверете наличността в целевия браузър: наличието на API в Node 24 не доказва поддръжка в браузърите. Посочените източници на стандарти не определят поддържаните версии на браузърите.
Примери
if (typeof Intl === "undefined" || typeof Intl.Segmenter !== "function") {
throw new Error("Intl.Segmenter is unavailable");
}
const text = "Hello, world!";
const segmenter = new Intl.Segmenter("en", { granularity: "word" });
const words = Array.from(segmenter.segment(text))
.filter(part => part.isWordLike)
.map(part => `${part.segment}@${part.index}`);
console.log(words.join(" | "));Резултат
Hello@0 | world@7
Показаният код и заявеният резултат са проверени в изолирана среда по метода, записан в доказателството за проверка на тази точна версия.