Baza znanjaCentar za ispite
HRHrvatski
Odaberi jezik13

CKTIS / JavaScript

CSV tokenizator i parser s konačnim automatom

Konačni automat prepoznaje CSV polja, a parser ih sastavlja u zapise bez dijeljenja teksta na zarezima ili prijelomima retka unutar navodnika.

Verzija: ECMAScript 2024 and the current web platform; runtime support varies

Sintaksa

csvTokens(text) → iterable of { kind: 'field', value: string } or { kind: 'endRecord' }
parseCsv(text) → string[][]
Both functions are defined in the example; neither is a built-in API.

csvTokens prepoznaje polja i emitira tokene field i endRecord. parseCsv prikuplja vrijednosti polja i sprema zapis kad primi endRecord. To su funkcije napisane u JavaScriptu, a ne ugrađeni API-ji. Polja ostaju znakovni nizovi, razmaci se čuvaju, a zaglavlje se tretira kao svaki drugi zapis. Broj stupaca ne provjerava se.

Automat ima četiri stanja: start (početak polja), bare (polje bez navodnika), quoted (unutar polja u navodnicima) i afterQuote (odmah nakon navodnika u tom polju). Navodnik može otvoriti polje samo u stanju start. U stanju quoted zarez, LF i CR dio su podataka. U stanju afterQuote još jedan navodnik dodaje doslovni znak " i vraća automat u quoted; inače su dopušteni samo zarez, kraj zapisa ili kraj ulaza. Zato samo split(',') nije dovoljno.

Izvan navodnika zarez završava polje, a LF ili CRLF završava zapis. Kraj ulaza zatvara započeti zapis, uključujući prazno polje nakon završnog zareza. Prazan ulaz ne daje zapise; prazan redak daje zapis s jednim praznim poljem; završni razdjelnik zapisa ne dodaje novi zapis. Samostalan CR izvan navodnika, neočekivan navodnik, tekst nakon završnog navodnika ili nezatvoreno polje u navodnicima izaziva SyntaxError. Prijavljeni položaji broje se od nule u kodnim jedinicama UTF-16, ne u bajtovima.

Primjer prima jedan već dekodirani niz. Generator postupno emitira tokene, ali ne čita ulaz u blokovima, a parser zadržava sve zapise. Pri čitanju u blokovima treba sačuvati stanje i dosadašnji sadržaj polja, čak i ako granica bloka presiječe CRLF ili "". Ograniči veličinu nepouzdanog ulaza i prije predaje polja proračunskoj tablici uzmi u obzir da ih ona može protumačiti kao formule. Parsiranje CSV-a ne neutralizira formule.

Primjeri

function* csvTokens(text) {
  let state = 'start';
  let field = '';
  let pending = false; // A comma has opened another field in this record.

  for (let i = 0; i < text.length; i++) {
    const c = text[i];
    if (state === 'quoted') {
      if (c === '"') state = 'afterQuote';
      else field += c;
      continue;
    }
    if (state === 'afterQuote' && c === '"') {
      field += '"';
      state = 'quoted';
      continue;
    }

    const crlf = c === '\r' && text[i + 1] === '\n';
    const endRecord = c === '\n' || crlf;
    if (c === ',' || endRecord) {
      yield { kind: 'field', value: field };
      if (endRecord) yield { kind: 'endRecord' };
      state = 'start';
      field = '';
      pending = c === ',';
      if (crlf) i++;
    } else if (state === 'start' && c === '"') {
      state = 'quoted';
    } else if (c === '\r' || c === '"' || state === 'afterQuote') {
      throw new SyntaxError(`Unexpected character at UTF-16 offset ${i}`);
    } else {
      field += c;
      state = 'bare';
    }
  }

  if (state === 'quoted') throw new SyntaxError('Unclosed quoted field');
  if (state !== 'start' || pending) {
    yield { kind: 'field', value: field };
    yield { kind: 'endRecord' };
  }
}

function parseCsv(text) {
  if (typeof text !== 'string') throw new TypeError('Expected a string');
  const rows = [];
  let row = [];
  for (const token of csvTokens(text)) {
    if (token.kind === 'field') row.push(token.value);
    else {
      rows.push(row);
      row = [];
    }
  }
  return rows;
}

const csv = 'name,note,extra\r\nAda,"line 1, still here\nline ""2""",';
console.log(JSON.stringify(parseCsv(csv)));

Rezultat

[["name","note","extra"],["Ada","line 1, still here\nline \"2\"",""]]

CRLF odvaja zapise, ali zarez i LF u polju `note` ostaju dio vrijednosti. Udvostručeni navodnici daju po jedan navodnik s obje strane znaka `2`, a završni zarez dodaje prazno polje. `JSON.stringify` prikazuje LF kao `\n`.

Povezane lekcije

  • JavaScript · Lekcija 9 · Napredno · Verzija: 4

Izvori