Base de conhecimentoCentro de Exames
PT · PTPortuguês (Portugal)
Escolher idioma13

CKTIS / JavaScript

Tokenizador de CSV e analisador com máquina de estados

Uma máquina de estados reconhece campos CSV e um analisador reúne os registos sem separar o texto por vírgulas ou quebras de linha dentro de aspas.

Versão: ECMAScript 2024 and the current web platform; runtime support varies

Sintaxe

csvTokens(text) → iterable of { kind: 'field', value: string } or { kind: 'endRecord' }
parseCsv(text) → string[][]
Both functions are defined in the example; neither is a built-in API.

csvTokens reconhece os campos e emite os tokens field e endRecord. parseCsv reúne os valores dos campos e guarda o registo ao receber endRecord. São funções JavaScript definidas no exemplo, não APIs incorporadas. Os campos continuam a ser cadeias de caracteres, os espaços são preservados e o cabeçalho é tratado como qualquer outro registo. O número de colunas não é verificado.

A máquina tem quatro estados: start (início do campo), bare (campo sem aspas), quoted (dentro de um campo entre aspas) e afterQuote (logo após uma aspa nesse campo). Só em start pode uma aspa abrir um campo. Em quoted, a vírgula, LF e CR são dados. Em afterQuote, outra aspa acrescenta um " literal e volta a quoted; caso contrário, só se aceita uma vírgula, o fim do registo ou o fim da entrada. Por isso, split(',') não é suficiente.

Fora das aspas, uma vírgula termina um campo e LF ou CRLF termina um registo. O fim da entrada fecha o registo pendente, incluindo o campo vazio depois de uma vírgula final. Uma entrada vazia não gera registos; uma linha vazia gera um registo com um campo vazio; um separador final de registos não acrescenta outro registo. Um CR isolado fora de aspas, uma aspa inesperada, texto após a aspa de fecho ou um campo entre aspas não fechado provocam SyntaxError. As posições indicadas começam em zero e contam unidades de código UTF-16, não bytes.

O exemplo recebe uma cadeia já descodificada. O gerador emite tokens progressivamente, mas não lê a entrada por blocos, e o analisador conserva todos os registos. Ao processar por blocos, é preciso manter o estado e o campo parcial, mesmo se a fronteira separar CRLF ou "". Limita o tamanho de entradas não fiáveis e, antes de entregar os campos a uma folha de cálculo, considera que podem ser interpretados como fórmulas. A análise do CSV não neutraliza fórmulas.

Exemplos

function* csvTokens(text) {
  let state = 'start';
  let field = '';
  let pending = false; // A comma has opened another field in this record.

  for (let i = 0; i < text.length; i++) {
    const c = text[i];
    if (state === 'quoted') {
      if (c === '"') state = 'afterQuote';
      else field += c;
      continue;
    }
    if (state === 'afterQuote' && c === '"') {
      field += '"';
      state = 'quoted';
      continue;
    }

    const crlf = c === '\r' && text[i + 1] === '\n';
    const endRecord = c === '\n' || crlf;
    if (c === ',' || endRecord) {
      yield { kind: 'field', value: field };
      if (endRecord) yield { kind: 'endRecord' };
      state = 'start';
      field = '';
      pending = c === ',';
      if (crlf) i++;
    } else if (state === 'start' && c === '"') {
      state = 'quoted';
    } else if (c === '\r' || c === '"' || state === 'afterQuote') {
      throw new SyntaxError(`Unexpected character at UTF-16 offset ${i}`);
    } else {
      field += c;
      state = 'bare';
    }
  }

  if (state === 'quoted') throw new SyntaxError('Unclosed quoted field');
  if (state !== 'start' || pending) {
    yield { kind: 'field', value: field };
    yield { kind: 'endRecord' };
  }
}

function parseCsv(text) {
  if (typeof text !== 'string') throw new TypeError('Expected a string');
  const rows = [];
  let row = [];
  for (const token of csvTokens(text)) {
    if (token.kind === 'field') row.push(token.value);
    else {
      rows.push(row);
      row = [];
    }
  }
  return rows;
}

const csv = 'name,note,extra\r\nAda,"line 1, still here\nline ""2""",';
console.log(JSON.stringify(parseCsv(csv)));

Resultado

[["name","note","extra"],["Ada","line 1, still here\nline \"2\"",""]]

CRLF separa os registos, mas a vírgula e LF em `note` ficam no valor. As aspas duplicadas produzem uma aspa de cada lado de `2`, e a vírgula final acrescenta um campo vazio. `JSON.stringify` representa LF como `\n`.

Lições relacionadas

  • JavaScript · Lição 9 · Avançado · Versão: 4

Fontes