База знанияИзпитен център
BGБългарски
Избери език13

CKTIS / JavaScript

CSV токенизатор и синтактичен анализатор с краен автомат

Краен автомат разпознава полетата на CSV, а синтактичният анализатор сглобява записите, без да разделя текста при запетаи или нови редове в кавички.

Версия: ECMAScript 2024 and the current web platform; runtime support varies

Синтаксис

csvTokens(text) → iterable of { kind: 'field', value: string } or { kind: 'endRecord' }
parseCsv(text) → string[][]
Both functions are defined in the example; neither is a built-in API.

csvTokens разпознава полетата и извежда токените field и endRecord. parseCsv събира стойностите на полетата и запазва записа при endRecord. Това са функции, написани на JavaScript, а не вградени API. Полетата остават низове, интервалите се запазват, а заглавният ред се обработва като всеки друг запис. Броят на колоните не се проверява.

Автоматът има четири състояния: start (начало на поле), bare (поле без кавички), quoted (в поле в кавички) и afterQuote (непосредствено след кавичка в това поле). Кавичка може да отвори поле само в start. В quoted запетаята, LF и CR са част от данните. В afterQuote още една кавичка добавя буквален знак " и връща автомата в quoted; иначе се допускат само запетая, край на записа или край на входа. Затова само split(',') не е достатъчно.

Извън кавичките запетаята завършва поле, а LF или CRLF завършва запис. Краят на входа приключва започнатия запис, включително празното поле след последна запетая. Празният вход не дава записи; празният ред дава запис с едно празно поле; краен разделител на записи не добавя нов запис. Самостоятелен CR извън кавичките, неочаквана кавичка, текст след затварящата кавичка или незатворено поле в кавички предизвиква SyntaxError. Посочените позиции се броят от нула в кодови единици на UTF-16, а не в байтове.

Примерът приема един вече декодиран низ. Генераторът извежда токените постепенно, но не чете входа на блокове, а анализаторът пази всички записи. При четене на блокове трябва да се запазят състоянието и частичното поле, дори ако границата разделя CRLF или "". Ограничи размера на ненадеждния вход и преди да подадеш полетата към електронна таблица, отчети, че тя може да ги интерпретира като формули. Анализът на CSV не обезврежда формулите.

Примери

function* csvTokens(text) {
  let state = 'start';
  let field = '';
  let pending = false; // A comma has opened another field in this record.

  for (let i = 0; i < text.length; i++) {
    const c = text[i];
    if (state === 'quoted') {
      if (c === '"') state = 'afterQuote';
      else field += c;
      continue;
    }
    if (state === 'afterQuote' && c === '"') {
      field += '"';
      state = 'quoted';
      continue;
    }

    const crlf = c === '\r' && text[i + 1] === '\n';
    const endRecord = c === '\n' || crlf;
    if (c === ',' || endRecord) {
      yield { kind: 'field', value: field };
      if (endRecord) yield { kind: 'endRecord' };
      state = 'start';
      field = '';
      pending = c === ',';
      if (crlf) i++;
    } else if (state === 'start' && c === '"') {
      state = 'quoted';
    } else if (c === '\r' || c === '"' || state === 'afterQuote') {
      throw new SyntaxError(`Unexpected character at UTF-16 offset ${i}`);
    } else {
      field += c;
      state = 'bare';
    }
  }

  if (state === 'quoted') throw new SyntaxError('Unclosed quoted field');
  if (state !== 'start' || pending) {
    yield { kind: 'field', value: field };
    yield { kind: 'endRecord' };
  }
}

function parseCsv(text) {
  if (typeof text !== 'string') throw new TypeError('Expected a string');
  const rows = [];
  let row = [];
  for (const token of csvTokens(text)) {
    if (token.kind === 'field') row.push(token.value);
    else {
      rows.push(row);
      row = [];
    }
  }
  return rows;
}

const csv = 'name,note,extra\r\nAda,"line 1, still here\nline ""2""",';
console.log(JSON.stringify(parseCsv(csv)));

Резултат

[["name","note","extra"],["Ada","line 1, still here\nline \"2\"",""]]

CRLF разделя записите, но запетаята и LF в `note` остават част от стойността. Удвоените кавички дават по една кавичка от двете страни на `2`, а крайната запетая добавя празно поле. `JSON.stringify` показва LF като `\n`.

Свързани уроци

  • JavaScript · Урок 9 · Напреднало · Версия: 4

Източници