Base di conoscenzaCentro esami
ITItaliano
Scegli la lingua13

CKTIS / JavaScript

Tokenizzatore CSV e parser con macchina a stati

Una macchina a stati riconosce i campi CSV e un parser compone i record senza separare il testo in corrispondenza di virgole o ritorni a capo tra virgolette.

Versione: ECMAScript 2024 and the current web platform; runtime support varies

Sintassi

csvTokens(text) → iterable of { kind: 'field', value: string } or { kind: 'endRecord' }
parseCsv(text) → string[][]
Both functions are defined in the example; neither is a built-in API.

csvTokens riconosce i campi ed emette i token field e endRecord. parseCsv raccoglie i valori dei campi e salva il record quando riceve endRecord. Sono funzioni JavaScript definite nell’esempio, non API integrate. I campi restano stringhe, gli spazi si conservano e l’intestazione è trattata come qualsiasi altro record. Il parser non controlla il numero di colonne.

La macchina ha quattro stati: start (inizio del campo), bare (campo senza virgolette), quoted (all’interno di un campo tra virgolette) e afterQuote (subito dopo una virgoletta in quel campo). Solo in start una virgoletta può aprire il campo. In quoted, virgola, LF e CR sono dati. In afterQuote, un’altra virgoletta aggiunge un " letterale e riporta a quoted; altrimenti sono ammessi solo una virgola, la fine del record o la fine dell’input. Per questo split(',') non basta.

Fuori dalle virgolette, la virgola termina un campo e LF o CRLF termina un record. Alla fine dell’input si chiude il record in corso, compreso il campo vuoto dopo una virgola finale. Un input vuoto non produce record; una riga vuota produce un record con un campo vuoto; un separatore di record finale non ne aggiunge un altro. Un CR isolato fuori dalle virgolette, una virgoletta inattesa, testo dopo la virgoletta di chiusura o un campo tra virgolette non chiuso causano SyntaxError. Le posizioni indicate partono da zero e contano unità di codice UTF-16, non byte.

L’esempio riceve una stringa già decodificata. Il generatore emette i token man mano, ma non legge a blocchi, e il parser conserva tutti i record. Per leggere a blocchi occorre conservare lo stato e il campo parziale, anche se il confine separa CRLF o "". Limita la dimensione degli input non attendibili e, prima di passare i campi a un foglio di calcolo, considera che potrebbero essere interpretati come formule: il parsing CSV non le neutralizza.

Esempi

function* csvTokens(text) {
  let state = 'start';
  let field = '';
  let pending = false; // A comma has opened another field in this record.

  for (let i = 0; i < text.length; i++) {
    const c = text[i];
    if (state === 'quoted') {
      if (c === '"') state = 'afterQuote';
      else field += c;
      continue;
    }
    if (state === 'afterQuote' && c === '"') {
      field += '"';
      state = 'quoted';
      continue;
    }

    const crlf = c === '\r' && text[i + 1] === '\n';
    const endRecord = c === '\n' || crlf;
    if (c === ',' || endRecord) {
      yield { kind: 'field', value: field };
      if (endRecord) yield { kind: 'endRecord' };
      state = 'start';
      field = '';
      pending = c === ',';
      if (crlf) i++;
    } else if (state === 'start' && c === '"') {
      state = 'quoted';
    } else if (c === '\r' || c === '"' || state === 'afterQuote') {
      throw new SyntaxError(`Unexpected character at UTF-16 offset ${i}`);
    } else {
      field += c;
      state = 'bare';
    }
  }

  if (state === 'quoted') throw new SyntaxError('Unclosed quoted field');
  if (state !== 'start' || pending) {
    yield { kind: 'field', value: field };
    yield { kind: 'endRecord' };
  }
}

function parseCsv(text) {
  if (typeof text !== 'string') throw new TypeError('Expected a string');
  const rows = [];
  let row = [];
  for (const token of csvTokens(text)) {
    if (token.kind === 'field') row.push(token.value);
    else {
      rows.push(row);
      row = [];
    }
  }
  return rows;
}

const csv = 'name,note,extra\r\nAda,"line 1, still here\nline ""2""",';
console.log(JSON.stringify(parseCsv(csv)));

Risultato

[["name","note","extra"],["Ada","line 1, still here\nline \"2\"",""]]

CRLF separa i record, mentre la virgola e LF in `note` restano parte del valore. Le virgolette raddoppiate producono una virgoletta su ciascun lato di `2` e la virgola finale aggiunge un campo vuoto. `JSON.stringify` rappresenta LF come `\n`.

Lezioni correlate

  • JavaScript · Lezione 9 · Avanzato · Versione: 4

Fonti