CKTIS / JavaScript
Кодови точки на Unicode и графемни клъстери
JavaScript измерва дължината на низ в кодови единици на UTF-16, обхожда низа по кодови точки и определя границите на графемните клъстери чрез `Intl.Segmenter`.
Версия: ECMAScript 2024 and the current web platform; runtime support varies
Синтаксис
text.length
text[i]
[...text]
new Intl.Segmenter(locale, { granularity: "grapheme" }).segment(text)Кодовата точка на Unicode е числова стойност, например U+0065 за e. В правилно формиран текст на UTF-16 една скаларна стойност на Unicode заема една или две 16-битови кодови единици. В JavaScript text.length брои кодовите единици, а text[i] и text.slice() използват индекси в тези единици. Срез на такъв индекс може да раздели сурогатна двойка.
[...text] и for...of използват итератора на низа. Той запазва валидните сурогатни двойки, връща несдвоена сурогатна единица като отделен елемент и не групира кодовите точки в графемни клъстери. Графемният клъстер е поредица от една или повече кодови точки, която приблизително съответства на това, което потребителят възприема като един знак. Например e, последвано от комбиниращо остро ударение U+0301, образува един клъстер.
За да броиш възприеманите знаци или да съкращаваш текст, без да разделяш клъстер, използвай Intl.Segmenter с { granularity: "grapheme" }. Методът segment(text) връща итерируем обект, чиито елементи включват текста segment и началния му индекс index, броен от нула в кодови единици на UTF-16. Можеш да подадеш този индекс директно на slice().
Провери дали Intl.Segmenter е наличен в целевата среда за изпълнение. Границите могат да се различават според реализацията и езиковите и регионалните настройки. Ако API не е наличен, не замествай сегментирането на графемни клъстери с обхождане по кодови точки: това са различни операции.
Примери
{
if (typeof globalThis.Intl?.Segmenter !== "function") {
throw new Error("Intl.Segmenter is required for this example.");
}
const text = "e\u0301\u{1F600}";
const segmenter = new Intl.Segmenter("en", { granularity: "grapheme" });
const graphemes = [...segmenter.segment(text)];
console.log(`UTF-16 code units: ${text.length}`);
console.log(`Code points: ${[...text].length}`);
console.log(`Grapheme clusters: ${graphemes.length}`);
console.log(`Segment start offsets: ${graphemes.map(({ index }) => index).join(", ")}`);
}Резултат
UTF-16 code units: 4 Code points: 3 Grapheme clusters: 2 Segment start offsets: 0, 2
`e` и комбиниращото ударение образуват първия клъстер. Емоджито образува втория, започва на индекс `2` и заема две кодови единици. Очакват се 4 кодови единици, 3 кодови точки и 2 клъстера.
Свързани уроци
- JavaScript · Урок 15 · Напреднало · Версия: 4
Източници
- ECMAScript 2024 Language Specification — The String Type
- ECMAScript 2024 Language Specification — String.prototype [ @@iterator ]
- ECMAScript 2024 Internationalization API Specification — Intl.Segmenter.prototype.segment
- ECMAScript 2024 Internationalization API Specification — CreateSegmentDataObject
- ECMAScript 2024 Internationalization API Specification — FindBoundary
- MDN — Intl.Segmenter