База знанияИзпитен център
BGБългарски
Избери език13

CKTIS / JavaScript

Кодови единици на UTF-16 и сурогатни двойки

Дължината на низ в JavaScript брои кодови единици на UTF-16, а не кодови точки на Unicode или знаци според възприятието на потребителя. Разликата е важна при индексиране, извличане и обхождане на текст.

Версия: ECMAScript 2024 and the current web platform; runtime support varies

Синтаксис

s.length; s[i]; s.slice(start, end); s.charCodeAt(i); s.codePointAt(i); [...s]; s.isWellFormed(); s.toWellFormed(); new Intl.Segmenter(undefined, { granularity: "grapheme" }).segment(s)

В ECMAScript 2024 стойност от тип String е последователност от 16-битови кодови единици. В правилно формиран UTF-16 скаларна стойност на Unicode от U+0000 до U+FFFF (без U+D800–U+DFFF) заема една единица. Стойност от U+10000 до U+10FFFF заема две: след висок сурогат (0xD800–0xDBFF) непосредствено следва нисък сурогат (0xDC00–0xDFFF). Двойката кодира една кодова точка.

s.length брои кодовите единици. s[i], s.slice(start, end) и s.charCodeAt(i) също използват индекси на кодови единици, броени от нула. При индекс в диапазона s[i] връща низ с една кодова единица, а извън диапазона обикновено връща undefined. slice не включва позицията end и може да раздели двойка, а charCodeAt връща числовата стойност на единицата (NaN извън диапазона). s.codePointAt(i) използва същия вид индекс: в началото на двойка връща числовата стойност на цялата кодова точка, а иначе — стойността на отделната единица, дори ако тя е втората половина на двойката. Извън диапазона връща undefined.

for...of и [...s] използват итератора на низа, който връща всяка валидна двойка заедно, а останалите единици — поотделно, включително несдвоените сурогати. Това не е сегментиране на графемни клъстери, които приблизително съответстват на възприеманите знаци. Например e, последвано от комбиниращ знак за остро ударение, образува две кодови точки, но един графемен клъстер. За сегментиране по графеми използвай Intl.Segmenter с granularity: "grapheme", ако средата го поддържа.

JavaScript допуска несдвоени сурогати в низовете. s.isWellFormed() връща false, ако има поне един такъв. s.toWellFormed() връща низ, в който всеки несдвоен сурогат е заменен с U+FFFD, без да променя оригинала. Ако е нужен правилно формиран UTF-16, реши дали да отхвърлиш, или да поправиш входа: при замяна се губи информация. Провери дали тези методи са налични в целевата среда за изпълнение.

Примери

{
  const s = "A\u{1F600}e\u0301";
  const hex = n => n.toString(16).toUpperCase();
  console.log(`length=${s.length}; iterator=${[...s].length}`);
  console.log(`units=${hex(s.charCodeAt(1))} ${hex(s.charCodeAt(2))}`);
  console.log(`codePointAt(1)=${hex(s.codePointAt(1))}; codePointAt(2)=${hex(s.codePointAt(2))}`);
  console.log(`slice(1, 2) is lone high surrogate: ${s.slice(1, 2) === "\uD83D"}`);
}

Резултат

length=5; iterator=4
units=D83D DE00
codePointAt(1)=1F600; codePointAt(2)=DE00
slice(1, 2) is lone high surrogate: true

Низът съдържа пет кодови единици, а итераторът връща четири елемента. Индексите `1` и `2` сочат двете половини на емоджито; `slice(1, 2)` запазва само високия сурогат.

Свързани уроци

  • JavaScript · Урок 2 · Напреднало · Версия: 4

Източници