KennisbankExamencentrum
NL · NLNederlands (Nederland)
Taal kiezen13

CKTIS / JavaScript

Intl.Segmenter — taalgevoelige tekstsegmentatie

Intl.Segmenter bepaalt met taalgevoelige regels de grenzen van grafeemclusters, woorden of zinnen. De methode segment() retourneert itereerbare segmentbeschrijvingen; met isWordLike kun je segmenten selecteren die als woordachtig zijn ingedeeld.

Versie: ECMAScript and Web APIs; exact feature edition and browser support reviewed per entry; Node 24 in repository does not prove browser API support

Syntax

new Intl.Segmenter(locales, { granularity: "word" }).segment(text)

Intl.Segmenter is een JavaScript-internationaliserings-API die is vastgelegd in ECMA-402 en al voorkomt in de editie van 2022. Het is geen DOM-API. De constructor vereist new. De optie granularity accepteert "grapheme" (de standaard), "word" of "sentence" en kiest daarmee grafeemclusters, woorden of zinnen. Een grafeemcluster kan uit meerdere codepunten bestaan en is dus niet hetzelfde als één UTF-16-code-eenheid.

Intl.Segmenter.prototype.segment(text) retourneert een itereerbaar Segments-object, geen array. Elke beschrijving bevat segment — het tekstfragment —, index — de beginindex in UTF-16-code-eenheden — en input — de volledige invoertekst. Gebruik Array.from() als je een array nodig hebt.

Alleen bij granularity: "word" heeft een beschrijving de booleaanse eigenschap isWordLike. Dit is geen methode van de segmenter. Ook spaties en leestekens komen in de resultaten voor; het filter part.isWordLike verwijdert die meestal. De classificatie en grenzen zijn afhankelijk van de implementatie en taalgegevens. Beschouw de API daarom niet als een universele grammaticale parser.

Het voorbeeld selecteert woorden en drukt hun indexen af. De locale vastzetten op "en" vermindert de afhankelijkheid van de standaardtaal, maar garandeert geen identieke segmentatie van willekeurige tekst in alle engines. Controleer de beschikbaarheid in de doelbrowser: beschikbaarheid in Node 24 bewijst geen browserondersteuning. De opgegeven standaardbronnen geven geen ondersteunde browserversies aan.

Voorbeelden

if (typeof Intl === "undefined" || typeof Intl.Segmenter !== "function") {
  throw new Error("Intl.Segmenter is unavailable");
}
const text = "Hello, world!";
const segmenter = new Intl.Segmenter("en", { granularity: "word" });
const words = Array.from(segmenter.segment(text))
  .filter(part => part.isWordLike)
  .map(part => `${part.segment}@${part.index}`);
console.log(words.join(" | "));

Resultaat

Hello@0 | world@7

De getoonde code en het opgegeven resultaat zijn in een geïsoleerde omgeving geverifieerd met de methode die in het verificatiebewijs voor exact deze versie is vastgelegd.

Bronnen