CKTIS / JavaScript
CSV-tokenizer en parser met toestandsautomaat
Een eindige automaat herkent CSV-velden en een parser bouwt records op zonder tekst te splitsen op komma’s of regeleinden binnen aanhalingstekens.
Versie: ECMAScript 2024 and the current web platform; runtime support varies
Syntax
csvTokens(text) → iterable of { kind: 'field', value: string } or { kind: 'endRecord' }
parseCsv(text) → string[][]
Both functions are defined in the example; neither is a built-in API.csvTokens herkent velden en levert de tokens field en endRecord. parseCsv verzamelt de veldwaarden en slaat het record op bij endRecord. Dit zijn zelfgeschreven JavaScript-functies, geen ingebouwde API’s. Velden blijven strings, spaties blijven behouden en een kopregel wordt behandeld als ieder ander record. Het aantal kolommen wordt niet gecontroleerd.
De automaat heeft vier toestanden: start (begin van een veld), bare (veld zonder aanhalingstekens), quoted (binnen een veld tussen aanhalingstekens) en afterQuote (direct na een aanhalingsteken in zo’n veld). Alleen in start kan een aanhalingsteken het veld openen. In quoted zijn komma, LF en CR gegevens. In afterQuote voegt nog een aanhalingsteken één letterlijk " toe en keert de automaat terug naar quoted; anders zijn alleen een komma, een recordeinde of het einde van de invoer toegestaan. Daarom volstaat split(',') niet.
Buiten aanhalingstekens beëindigt een komma het veld en beëindigt LF of CRLF het record. Het einde van de invoer sluit een begonnen record af, inclusief een leeg veld na een afsluitende komma. Lege invoer geeft geen records; een lege regel geeft één record met één leeg veld; een afsluitend recordscheidingsteken voegt geen extra record toe. Een losse CR buiten aanhalingstekens, een onverwacht aanhalingsteken, tekst na het sluitende aanhalingsteken of een niet-afgesloten veld tussen aanhalingstekens leidt tot SyntaxError. Gemelde posities tellen vanaf nul in UTF-16-code-eenheden, niet in bytes.
Het voorbeeld krijgt één al gedecodeerde string. De generator levert tokens gaandeweg, maar leest niet in blokken, en de parser bewaart alle records. Bij verwerking in blokken moet je de toestand en het gedeeltelijke veld bewaren, ook als een blokgrens CRLF of "" splitst. Stel groottelimieten in voor onbetrouwbare invoer en houd er vóór overdracht aan een spreadsheet rekening mee dat velden als formules kunnen worden opgevat. CSV-parsing maakt formules niet onschadelijk.
Voorbeelden
function* csvTokens(text) {
let state = 'start';
let field = '';
let pending = false; // A comma has opened another field in this record.
for (let i = 0; i < text.length; i++) {
const c = text[i];
if (state === 'quoted') {
if (c === '"') state = 'afterQuote';
else field += c;
continue;
}
if (state === 'afterQuote' && c === '"') {
field += '"';
state = 'quoted';
continue;
}
const crlf = c === '\r' && text[i + 1] === '\n';
const endRecord = c === '\n' || crlf;
if (c === ',' || endRecord) {
yield { kind: 'field', value: field };
if (endRecord) yield { kind: 'endRecord' };
state = 'start';
field = '';
pending = c === ',';
if (crlf) i++;
} else if (state === 'start' && c === '"') {
state = 'quoted';
} else if (c === '\r' || c === '"' || state === 'afterQuote') {
throw new SyntaxError(`Unexpected character at UTF-16 offset ${i}`);
} else {
field += c;
state = 'bare';
}
}
if (state === 'quoted') throw new SyntaxError('Unclosed quoted field');
if (state !== 'start' || pending) {
yield { kind: 'field', value: field };
yield { kind: 'endRecord' };
}
}
function parseCsv(text) {
if (typeof text !== 'string') throw new TypeError('Expected a string');
const rows = [];
let row = [];
for (const token of csvTokens(text)) {
if (token.kind === 'field') row.push(token.value);
else {
rows.push(row);
row = [];
}
}
return rows;
}
const csv = 'name,note,extra\r\nAda,"line 1, still here\nline ""2""",';
console.log(JSON.stringify(parseCsv(csv)));Resultaat
[["name","note","extra"],["Ada","line 1, still here\nline \"2\"",""]]
CRLF scheidt de records, maar de komma en LF in `note` blijven deel van de waarde. Verdubbelde aanhalingstekens geven één teken aan elke kant van `2`, en de afsluitende komma voegt een leeg veld toe. `JSON.stringify` toont LF als `\n`.
Gerelateerde lessen
- JavaScript · Les 9 · Gevorderd · Versie: 4