CKTIS / JavaScript
CSV tokenizator i parser s konačnim automatom
Konačni automat prepoznaje CSV polja, a parser ih sastavlja u zapise bez dijeljenja teksta na zarezima ili prijelomima retka unutar navodnika.
Verzija: ECMAScript 2024 and the current web platform; runtime support varies
Sintaksa
csvTokens(text) → iterable of { kind: 'field', value: string } or { kind: 'endRecord' }
parseCsv(text) → string[][]
Both functions are defined in the example; neither is a built-in API.csvTokens prepoznaje polja i emitira tokene field i endRecord. parseCsv prikuplja vrijednosti polja i sprema zapis kad primi endRecord. To su funkcije napisane u JavaScriptu, a ne ugrađeni API-ji. Polja ostaju znakovni nizovi, razmaci se čuvaju, a zaglavlje se tretira kao svaki drugi zapis. Broj stupaca ne provjerava se.
Automat ima četiri stanja: start (početak polja), bare (polje bez navodnika), quoted (unutar polja u navodnicima) i afterQuote (odmah nakon navodnika u tom polju). Navodnik može otvoriti polje samo u stanju start. U stanju quoted zarez, LF i CR dio su podataka. U stanju afterQuote još jedan navodnik dodaje doslovni znak " i vraća automat u quoted; inače su dopušteni samo zarez, kraj zapisa ili kraj ulaza. Zato samo split(',') nije dovoljno.
Izvan navodnika zarez završava polje, a LF ili CRLF završava zapis. Kraj ulaza zatvara započeti zapis, uključujući prazno polje nakon završnog zareza. Prazan ulaz ne daje zapise; prazan redak daje zapis s jednim praznim poljem; završni razdjelnik zapisa ne dodaje novi zapis. Samostalan CR izvan navodnika, neočekivan navodnik, tekst nakon završnog navodnika ili nezatvoreno polje u navodnicima izaziva SyntaxError. Prijavljeni položaji broje se od nule u kodnim jedinicama UTF-16, ne u bajtovima.
Primjer prima jedan već dekodirani niz. Generator postupno emitira tokene, ali ne čita ulaz u blokovima, a parser zadržava sve zapise. Pri čitanju u blokovima treba sačuvati stanje i dosadašnji sadržaj polja, čak i ako granica bloka presiječe CRLF ili "". Ograniči veličinu nepouzdanog ulaza i prije predaje polja proračunskoj tablici uzmi u obzir da ih ona može protumačiti kao formule. Parsiranje CSV-a ne neutralizira formule.
Primjeri
function* csvTokens(text) {
let state = 'start';
let field = '';
let pending = false; // A comma has opened another field in this record.
for (let i = 0; i < text.length; i++) {
const c = text[i];
if (state === 'quoted') {
if (c === '"') state = 'afterQuote';
else field += c;
continue;
}
if (state === 'afterQuote' && c === '"') {
field += '"';
state = 'quoted';
continue;
}
const crlf = c === '\r' && text[i + 1] === '\n';
const endRecord = c === '\n' || crlf;
if (c === ',' || endRecord) {
yield { kind: 'field', value: field };
if (endRecord) yield { kind: 'endRecord' };
state = 'start';
field = '';
pending = c === ',';
if (crlf) i++;
} else if (state === 'start' && c === '"') {
state = 'quoted';
} else if (c === '\r' || c === '"' || state === 'afterQuote') {
throw new SyntaxError(`Unexpected character at UTF-16 offset ${i}`);
} else {
field += c;
state = 'bare';
}
}
if (state === 'quoted') throw new SyntaxError('Unclosed quoted field');
if (state !== 'start' || pending) {
yield { kind: 'field', value: field };
yield { kind: 'endRecord' };
}
}
function parseCsv(text) {
if (typeof text !== 'string') throw new TypeError('Expected a string');
const rows = [];
let row = [];
for (const token of csvTokens(text)) {
if (token.kind === 'field') row.push(token.value);
else {
rows.push(row);
row = [];
}
}
return rows;
}
const csv = 'name,note,extra\r\nAda,"line 1, still here\nline ""2""",';
console.log(JSON.stringify(parseCsv(csv)));Rezultat
[["name","note","extra"],["Ada","line 1, still here\nline \"2\"",""]]
CRLF odvaja zapise, ali zarez i LF u polju `note` ostaju dio vrijednosti. Udvostručeni navodnici daju po jedan navodnik s obje strane znaka `2`, a završni zarez dodaje prazno polje. `JSON.stringify` prikazuje LF kao `\n`.
Povezane lekcije
- JavaScript · Lekcija 9 · Napredno · Verzija: 4