CKTIS / JavaScript
Tokenizador CSV y analizador con máquina de estados
Una máquina de estados reconoce los campos CSV y un analizador compone los registros sin cortar por comas ni saltos de línea dentro de las comillas.
Versión: ECMAScript 2024 and the current web platform; runtime support varies
Sintaxis
csvTokens(text) → iterable of { kind: 'field', value: string } or { kind: 'endRecord' }
parseCsv(text) → string[][]
Both functions are defined in the example; neither is a built-in API.csvTokens reconoce campos y emite los tokens field y endRecord. parseCsv reúne los valores y guarda el registro al recibir endRecord. Son funciones de JavaScript definidas en el ejemplo, no API integradas. Los campos siguen siendo cadenas, los espacios se conservan y la cabecera se trata como cualquier otro registro. No se comprueba el número de columnas.
La máquina tiene cuatro estados: start (inicio del campo), bare (campo sin comillas), quoted (dentro de un campo entre comillas) y afterQuote (justo después de una comilla dentro de ese campo). Solo en start puede una comilla abrir un campo. En quoted, la coma, LF y CR son datos. En afterQuote, otra comilla añade un " literal y vuelve a quoted; de lo contrario, solo se admite una coma, un fin de registro o el fin de la entrada. Por eso split(',') no basta.
Fuera de las comillas, la coma termina un campo y LF o CRLF termina un registro. El fin de la entrada cierra el registro pendiente, incluido el campo vacío tras una coma final. Una entrada vacía no da registros; una línea vacía da un registro con un campo vacío; un separador de registros al final no añade otro registro. Un CR aislado fuera de las comillas, una comilla inesperada, texto tras la comilla de cierre o un campo entre comillas sin cerrar provocan SyntaxError. Las posiciones indicadas se cuentan desde cero en unidades de código UTF-16, no en bytes.
El ejemplo recibe una cadena ya decodificada. El generador emite tokens gradualmente, pero no lee por bloques, y el analizador conserva todos los registros. Al procesar por bloques hay que conservar el estado y el campo parcial, incluso si un límite separa CRLF o "". Limita el tamaño de entradas no fiables y ten en cuenta que una hoja de cálculo puede interpretar campos como fórmulas. Analizar el CSV no neutraliza las fórmulas.
Ejemplos
function* csvTokens(text) {
let state = 'start';
let field = '';
let pending = false; // A comma has opened another field in this record.
for (let i = 0; i < text.length; i++) {
const c = text[i];
if (state === 'quoted') {
if (c === '"') state = 'afterQuote';
else field += c;
continue;
}
if (state === 'afterQuote' && c === '"') {
field += '"';
state = 'quoted';
continue;
}
const crlf = c === '\r' && text[i + 1] === '\n';
const endRecord = c === '\n' || crlf;
if (c === ',' || endRecord) {
yield { kind: 'field', value: field };
if (endRecord) yield { kind: 'endRecord' };
state = 'start';
field = '';
pending = c === ',';
if (crlf) i++;
} else if (state === 'start' && c === '"') {
state = 'quoted';
} else if (c === '\r' || c === '"' || state === 'afterQuote') {
throw new SyntaxError(`Unexpected character at UTF-16 offset ${i}`);
} else {
field += c;
state = 'bare';
}
}
if (state === 'quoted') throw new SyntaxError('Unclosed quoted field');
if (state !== 'start' || pending) {
yield { kind: 'field', value: field };
yield { kind: 'endRecord' };
}
}
function parseCsv(text) {
if (typeof text !== 'string') throw new TypeError('Expected a string');
const rows = [];
let row = [];
for (const token of csvTokens(text)) {
if (token.kind === 'field') row.push(token.value);
else {
rows.push(row);
row = [];
}
}
return rows;
}
const csv = 'name,note,extra\r\nAda,"line 1, still here\nline ""2""",';
console.log(JSON.stringify(parseCsv(csv)));Resultado
[["name","note","extra"],["Ada","line 1, still here\nline \"2\"",""]]
CRLF separa los registros, pero la coma y LF en `note` son parte del valor. Las comillas dobles consecutivas producen una comilla a cada lado de `2`, y la coma final añade un campo vacío. `JSON.stringify` representa LF como `\n`.
Lecciones relacionadas
- JavaScript · Lección 9 · Avanzado · Versión: 4