База знанияИзпитен център
BGБългарски
Избери език13

CKTIS / JavaScript

Кодови точки на Unicode и графемни клъстери

JavaScript измерва дължината на низ в кодови единици на UTF-16, обхожда низа по кодови точки и определя границите на графемните клъстери чрез `Intl.Segmenter`.

Версия: ECMAScript 2024 and the current web platform; runtime support varies

Синтаксис

text.length
text[i]
[...text]
new Intl.Segmenter(locale, { granularity: "grapheme" }).segment(text)

Кодовата точка на Unicode е числова стойност, например U+0065 за e. В правилно формиран текст на UTF-16 една скаларна стойност на Unicode заема една или две 16-битови кодови единици. В JavaScript text.length брои кодовите единици, а text[i] и text.slice() използват индекси в тези единици. Срез на такъв индекс може да раздели сурогатна двойка.

[...text] и for...of използват итератора на низа. Той запазва валидните сурогатни двойки, връща несдвоена сурогатна единица като отделен елемент и не групира кодовите точки в графемни клъстери. Графемният клъстер е поредица от една или повече кодови точки, която приблизително съответства на това, което потребителят възприема като един знак. Например e, последвано от комбиниращо остро ударение U+0301, образува един клъстер.

За да броиш възприеманите знаци или да съкращаваш текст, без да разделяш клъстер, използвай Intl.Segmenter с { granularity: "grapheme" }. Методът segment(text) връща итерируем обект, чиито елементи включват текста segment и началния му индекс index, броен от нула в кодови единици на UTF-16. Можеш да подадеш този индекс директно на slice().

Провери дали Intl.Segmenter е наличен в целевата среда за изпълнение. Границите могат да се различават според реализацията и езиковите и регионалните настройки. Ако API не е наличен, не замествай сегментирането на графемни клъстери с обхождане по кодови точки: това са различни операции.

Примери

{
  if (typeof globalThis.Intl?.Segmenter !== "function") {
    throw new Error("Intl.Segmenter is required for this example.");
  }

  const text = "e\u0301\u{1F600}";
  const segmenter = new Intl.Segmenter("en", { granularity: "grapheme" });
  const graphemes = [...segmenter.segment(text)];

  console.log(`UTF-16 code units: ${text.length}`);
  console.log(`Code points: ${[...text].length}`);
  console.log(`Grapheme clusters: ${graphemes.length}`);
  console.log(`Segment start offsets: ${graphemes.map(({ index }) => index).join(", ")}`);
}

Резултат

UTF-16 code units: 4
Code points: 3
Grapheme clusters: 2
Segment start offsets: 0, 2

`e` и комбиниращото ударение образуват първия клъстер. Емоджито образува втория, започва на индекс `2` и заема две кодови единици. Очакват се 4 кодови единици, 3 кодови точки и 2 клъстера.

Свързани уроци

  • JavaScript · Урок 15 · Напреднало · Версия: 4

Източници