CKTIS / JavaScript
Tokenizér CSV a parser se stavovým automatem
Stavový automat rozpoznává pole CSV a parser z nich sestavuje záznamy, aniž by dělil text podle čárek nebo konců řádků uvnitř uvozovek.
Verze: ECMAScript 2024 and the current web platform; runtime support varies
Syntaxe
csvTokens(text) → iterable of { kind: 'field', value: string } or { kind: 'endRecord' }
parseCsv(text) → string[][]
Both functions are defined in the example; neither is a built-in API.csvTokens rozpoznává pole a vydává tokeny field a endRecord. parseCsv shromažďuje hodnoty polí a při endRecord uloží záznam. Jde o vlastní funkce v JavaScriptu, nikoli o vestavěná API. Pole zůstávají řetězci, mezery se zachovávají a záhlaví se zpracovává jako jakýkoli jiný záznam. Počet sloupců se nekontroluje.
Automat má čtyři stavy: start (začátek pole), bare (pole bez uvozovek), quoted (uvnitř pole v uvozovkách) a afterQuote (hned po uvozovce v tomto poli). Uvozovka může otevřít pole jen ve stavu start. Ve stavu quoted jsou čárka, LF a CR součástí dat. Ve stavu afterQuote další uvozovka přidá doslovný znak " a vrátí automat do quoted; jinak smí následovat jen čárka, konec záznamu nebo konec vstupu. Proto samotné split(',') nestačí.
Mimo uvozovky čárka ukončuje pole a LF nebo CRLF ukončuje záznam. Konec vstupu uzavře rozpracovaný záznam včetně prázdného pole za koncovou čárkou. Prázdný vstup nedá žádný záznam; prázdný řádek dá záznam s jedním prázdným polem; koncový oddělovač záznamů nepřidá další záznam. Samostatné CR mimo uvozovky, neočekávaná uvozovka, text po uzavírací uvozovce nebo neuzavřené pole v uvozovkách vyvolá SyntaxError. Hlášené pozice se počítají od nuly v kódových jednotkách UTF-16, nikoli v bajtech.
Příklad přijímá jeden již dekódovaný řetězec. Generátor vydává tokeny postupně, ale nečte vstup po blocích, a parser uchovává všechny záznamy. Při čtení po blocích je třeba zachovat stav i dosavadní obsah pole, i když hranice bloku rozdělí CRLF nebo "". Omez velikost nedůvěryhodných vstupů a před předáním polí tabulkovému procesoru počítej s tím, že je může vyhodnotit jako vzorce. Parsování CSV vzorce nezneškodní.
Příklady
function* csvTokens(text) {
let state = 'start';
let field = '';
let pending = false; // A comma has opened another field in this record.
for (let i = 0; i < text.length; i++) {
const c = text[i];
if (state === 'quoted') {
if (c === '"') state = 'afterQuote';
else field += c;
continue;
}
if (state === 'afterQuote' && c === '"') {
field += '"';
state = 'quoted';
continue;
}
const crlf = c === '\r' && text[i + 1] === '\n';
const endRecord = c === '\n' || crlf;
if (c === ',' || endRecord) {
yield { kind: 'field', value: field };
if (endRecord) yield { kind: 'endRecord' };
state = 'start';
field = '';
pending = c === ',';
if (crlf) i++;
} else if (state === 'start' && c === '"') {
state = 'quoted';
} else if (c === '\r' || c === '"' || state === 'afterQuote') {
throw new SyntaxError(`Unexpected character at UTF-16 offset ${i}`);
} else {
field += c;
state = 'bare';
}
}
if (state === 'quoted') throw new SyntaxError('Unclosed quoted field');
if (state !== 'start' || pending) {
yield { kind: 'field', value: field };
yield { kind: 'endRecord' };
}
}
function parseCsv(text) {
if (typeof text !== 'string') throw new TypeError('Expected a string');
const rows = [];
let row = [];
for (const token of csvTokens(text)) {
if (token.kind === 'field') row.push(token.value);
else {
rows.push(row);
row = [];
}
}
return rows;
}
const csv = 'name,note,extra\r\nAda,"line 1, still here\nline ""2""",';
console.log(JSON.stringify(parseCsv(csv)));Výsledek
[["name","note","extra"],["Ada","line 1, still here\nline \"2\"",""]]
CRLF odděluje záznamy, zatímco čárka a LF v poli `note` zůstávají ve hodnotě. Zdvojené uvozovky vytvoří jednu uvozovku na každé straně `2` a koncová čárka přidá prázdné pole. `JSON.stringify` zobrazí LF jako `\n`.
Související lekce
- JavaScript · Lekce 9 · Pokročilá · Verze: 4