Base de conocimientosCentro de exámenes
ESEspañol
Elegir idioma13

CKTIS / JavaScript

Tokenizador CSV y analizador con máquina de estados

Una máquina de estados reconoce los campos CSV y un analizador compone los registros sin cortar por comas ni saltos de línea dentro de las comillas.

Versión: ECMAScript 2024 and the current web platform; runtime support varies

Sintaxis

csvTokens(text) → iterable of { kind: 'field', value: string } or { kind: 'endRecord' }
parseCsv(text) → string[][]
Both functions are defined in the example; neither is a built-in API.

csvTokens reconoce campos y emite los tokens field y endRecord. parseCsv reúne los valores y guarda el registro al recibir endRecord. Son funciones de JavaScript definidas en el ejemplo, no API integradas. Los campos siguen siendo cadenas, los espacios se conservan y la cabecera se trata como cualquier otro registro. No se comprueba el número de columnas.

La máquina tiene cuatro estados: start (inicio del campo), bare (campo sin comillas), quoted (dentro de un campo entre comillas) y afterQuote (justo después de una comilla dentro de ese campo). Solo en start puede una comilla abrir un campo. En quoted, la coma, LF y CR son datos. En afterQuote, otra comilla añade un " literal y vuelve a quoted; de lo contrario, solo se admite una coma, un fin de registro o el fin de la entrada. Por eso split(',') no basta.

Fuera de las comillas, la coma termina un campo y LF o CRLF termina un registro. El fin de la entrada cierra el registro pendiente, incluido el campo vacío tras una coma final. Una entrada vacía no da registros; una línea vacía da un registro con un campo vacío; un separador de registros al final no añade otro registro. Un CR aislado fuera de las comillas, una comilla inesperada, texto tras la comilla de cierre o un campo entre comillas sin cerrar provocan SyntaxError. Las posiciones indicadas se cuentan desde cero en unidades de código UTF-16, no en bytes.

El ejemplo recibe una cadena ya decodificada. El generador emite tokens gradualmente, pero no lee por bloques, y el analizador conserva todos los registros. Al procesar por bloques hay que conservar el estado y el campo parcial, incluso si un límite separa CRLF o "". Limita el tamaño de entradas no fiables y ten en cuenta que una hoja de cálculo puede interpretar campos como fórmulas. Analizar el CSV no neutraliza las fórmulas.

Ejemplos

function* csvTokens(text) {
  let state = 'start';
  let field = '';
  let pending = false; // A comma has opened another field in this record.

  for (let i = 0; i < text.length; i++) {
    const c = text[i];
    if (state === 'quoted') {
      if (c === '"') state = 'afterQuote';
      else field += c;
      continue;
    }
    if (state === 'afterQuote' && c === '"') {
      field += '"';
      state = 'quoted';
      continue;
    }

    const crlf = c === '\r' && text[i + 1] === '\n';
    const endRecord = c === '\n' || crlf;
    if (c === ',' || endRecord) {
      yield { kind: 'field', value: field };
      if (endRecord) yield { kind: 'endRecord' };
      state = 'start';
      field = '';
      pending = c === ',';
      if (crlf) i++;
    } else if (state === 'start' && c === '"') {
      state = 'quoted';
    } else if (c === '\r' || c === '"' || state === 'afterQuote') {
      throw new SyntaxError(`Unexpected character at UTF-16 offset ${i}`);
    } else {
      field += c;
      state = 'bare';
    }
  }

  if (state === 'quoted') throw new SyntaxError('Unclosed quoted field');
  if (state !== 'start' || pending) {
    yield { kind: 'field', value: field };
    yield { kind: 'endRecord' };
  }
}

function parseCsv(text) {
  if (typeof text !== 'string') throw new TypeError('Expected a string');
  const rows = [];
  let row = [];
  for (const token of csvTokens(text)) {
    if (token.kind === 'field') row.push(token.value);
    else {
      rows.push(row);
      row = [];
    }
  }
  return rows;
}

const csv = 'name,note,extra\r\nAda,"line 1, still here\nline ""2""",';
console.log(JSON.stringify(parseCsv(csv)));

Resultado

[["name","note","extra"],["Ada","line 1, still here\nline \"2\"",""]]

CRLF separa los registros, pero la coma y LF en `note` son parte del valor. Las comillas dobles consecutivas producen una comilla a cada lado de `2`, y la coma final añade un campo vacío. `JSON.stringify` representa LF como `\n`.

Lecciones relacionadas

  • JavaScript · Lección 9 · Avanzado · Versión: 4

Fuentes