CKTIS / JavaScript
CSV-Tokenizer und Parser mit Zustandsautomat
Ein endlicher Automat erkennt CSV-Felder; ein Parser setzt daraus Datensätze zusammen, ohne an Kommas oder Zeilenumbrüchen in Anführungszeichen zu trennen.
Version: ECMAScript 2024 and the current web platform; runtime support varies
Syntax
csvTokens(text) → iterable of { kind: 'field', value: string } or { kind: 'endRecord' }
parseCsv(text) → string[][]
Both functions are defined in the example; neither is a built-in API.csvTokens erkennt Felder und liefert die Token field und endRecord. parseCsv sammelt die Feldwerte und speichert den Datensatz bei endRecord. Das sind selbst geschriebene JavaScript-Funktionen, keine eingebauten APIs. Felder bleiben Zeichenketten, Leerzeichen bleiben erhalten, und eine Kopfzeile wird wie jeder andere Datensatz behandelt. Die Spaltenzahl wird nicht geprüft.
Der Automat hat vier Zustände: start (Feldanfang), bare (Feld ohne Anführungszeichen), quoted (innerhalb eines Feldes in Anführungszeichen) und afterQuote (direkt nach einem Anführungszeichen in diesem Feld). Nur in start kann ein Anführungszeichen ein Feld eröffnen. In quoted sind Komma, LF und CR Daten. In afterQuote fügt ein weiteres Anführungszeichen ein wörtliches " hinzu und führt zurück nach quoted; sonst sind nur Komma, Datensatzende oder Eingabeende erlaubt. Deshalb genügt split(',') hier nicht.
Außerhalb von Anführungszeichen beendet ein Komma das Feld, LF oder CRLF beendet den Datensatz. Am Eingabeende wird ein begonnener Datensatz abgeschlossen, einschließlich eines leeren Feldes nach einem abschließenden Komma. Leere Eingabe ergibt keine Datensätze; eine Leerzeile ergibt einen Datensatz mit einem leeren Feld; ein abschließender Datensatztrenner erzeugt keinen weiteren Datensatz. Ein einzelnes CR außerhalb von Anführungszeichen, ein unerwartetes Anführungszeichen, zusätzlicher Text nach dem schließenden Anführungszeichen oder ein nicht geschlossenes Feld löst SyntaxError aus. Gemeldete Positionen zählen ab null in UTF-16-Codeeinheiten, nicht in Bytes.
Das Beispiel übernimmt eine bereits dekodierte Zeichenkette. Der Generator liefert Token nach und nach, liest die Eingabe aber nicht blockweise, und der Parser behält alle Datensätze. Bei blockweiser Verarbeitung müssen Zustand und bisheriger Feldinhalt erhalten bleiben, auch wenn die Blockgrenze CRLF oder "" trennt. Begrenze die Größe nicht vertrauenswürdiger Eingaben und berücksichtige vor der Übergabe an eine Tabellenkalkulation, dass diese Felder als Formeln auswerten kann. Der CSV-Parser verhindert das nicht.
Beispiele
function* csvTokens(text) {
let state = 'start';
let field = '';
let pending = false; // A comma has opened another field in this record.
for (let i = 0; i < text.length; i++) {
const c = text[i];
if (state === 'quoted') {
if (c === '"') state = 'afterQuote';
else field += c;
continue;
}
if (state === 'afterQuote' && c === '"') {
field += '"';
state = 'quoted';
continue;
}
const crlf = c === '\r' && text[i + 1] === '\n';
const endRecord = c === '\n' || crlf;
if (c === ',' || endRecord) {
yield { kind: 'field', value: field };
if (endRecord) yield { kind: 'endRecord' };
state = 'start';
field = '';
pending = c === ',';
if (crlf) i++;
} else if (state === 'start' && c === '"') {
state = 'quoted';
} else if (c === '\r' || c === '"' || state === 'afterQuote') {
throw new SyntaxError(`Unexpected character at UTF-16 offset ${i}`);
} else {
field += c;
state = 'bare';
}
}
if (state === 'quoted') throw new SyntaxError('Unclosed quoted field');
if (state !== 'start' || pending) {
yield { kind: 'field', value: field };
yield { kind: 'endRecord' };
}
}
function parseCsv(text) {
if (typeof text !== 'string') throw new TypeError('Expected a string');
const rows = [];
let row = [];
for (const token of csvTokens(text)) {
if (token.kind === 'field') row.push(token.value);
else {
rows.push(row);
row = [];
}
}
return rows;
}
const csv = 'name,note,extra\r\nAda,"line 1, still here\nline ""2""",';
console.log(JSON.stringify(parseCsv(csv)));Ergebnis
[["name","note","extra"],["Ada","line 1, still here\nline \"2\"",""]]
CRLF trennt die Datensätze. Komma und LF in `note` bleiben im Wert. Verdoppelte Anführungszeichen ergeben je ein Anführungszeichen um `2`; das abschließende Komma fügt ein leeres Feld hinzu. `JSON.stringify` stellt LF als `\n` dar.
Zugehörige Lektionen
- JavaScript · Lektion 9 · Fortgeschritten · Version: 4