Znalostná bázaCentrum skúšok
SKSlovenčina
Vybrať jazyk13

CKTIS / JavaScript

Tokenizér CSV a parser so stavovým automatom

Stavový automat rozpoznáva polia CSV a parser z nich skladá záznamy bez rozdeľovania textu na čiarkach alebo koncoch riadkov v úvodzovkách.

Verzia: ECMAScript 2024 and the current web platform; runtime support varies

Syntax

csvTokens(text) → iterable of { kind: 'field', value: string } or { kind: 'endRecord' }
parseCsv(text) → string[][]
Both functions are defined in the example; neither is a built-in API.

csvTokens rozpoznáva polia a vydáva tokeny field a endRecord. parseCsv zhromažďuje hodnoty polí a pri endRecord uloží záznam. Sú to vlastné funkcie v JavaScripte, nie vstavané API. Polia zostávajú reťazcami, medzery sa zachovávajú a hlavička sa spracúva ako každý iný záznam. Počet stĺpcov sa nekontroluje.

Automat má štyri stavy: start (začiatok poľa), bare (pole bez úvodzoviek), quoted (vnútri poľa v úvodzovkách) a afterQuote (hneď po úvodzovke v tomto poli). Úvodzovka môže otvoriť pole len v stave start. V stave quoted sú čiarka, LF a CR súčasťou dát. V stave afterQuote ďalšia úvodzovka pridá doslovný znak " a vráti automat do quoted; inak môže nasledovať len čiarka, koniec záznamu alebo koniec vstupu. Preto samotné split(',') nestačí.

Mimo úvodzoviek čiarka ukončuje pole a LF alebo CRLF ukončuje záznam. Koniec vstupu uzavrie rozpracovaný záznam vrátane prázdneho poľa po koncovej čiarke. Prázdny vstup nedá žiadny záznam; prázdny riadok dá záznam s jedným prázdnym poľom; koncový oddeľovač záznamov nepridá ďalší záznam. Samostatné CR mimo úvodzoviek, neočakávaná úvodzovka, text za zatváracou úvodzovkou alebo neuzavreté pole v úvodzovkách vyvolá SyntaxError. Uvedené pozície sa počítajú od nuly v kódových jednotkách UTF-16, nie v bajtoch.

Príklad prijíma jeden už dekódovaný reťazec. Generátor vydáva tokeny postupne, ale nečíta vstup po blokoch, a parser uchováva všetky záznamy. Pri čítaní po blokoch treba zachovať stav a čiastočný obsah poľa, aj keď hranica bloku rozdelí CRLF alebo "". Obmedz veľkosť nedôveryhodných vstupov a pred odovzdaním polí tabuľkovému procesoru rátaj s tým, že ich môže vyhodnotiť ako vzorce. Parsovanie CSV vzorce nezneškodní.

Príklady

function* csvTokens(text) {
  let state = 'start';
  let field = '';
  let pending = false; // A comma has opened another field in this record.

  for (let i = 0; i < text.length; i++) {
    const c = text[i];
    if (state === 'quoted') {
      if (c === '"') state = 'afterQuote';
      else field += c;
      continue;
    }
    if (state === 'afterQuote' && c === '"') {
      field += '"';
      state = 'quoted';
      continue;
    }

    const crlf = c === '\r' && text[i + 1] === '\n';
    const endRecord = c === '\n' || crlf;
    if (c === ',' || endRecord) {
      yield { kind: 'field', value: field };
      if (endRecord) yield { kind: 'endRecord' };
      state = 'start';
      field = '';
      pending = c === ',';
      if (crlf) i++;
    } else if (state === 'start' && c === '"') {
      state = 'quoted';
    } else if (c === '\r' || c === '"' || state === 'afterQuote') {
      throw new SyntaxError(`Unexpected character at UTF-16 offset ${i}`);
    } else {
      field += c;
      state = 'bare';
    }
  }

  if (state === 'quoted') throw new SyntaxError('Unclosed quoted field');
  if (state !== 'start' || pending) {
    yield { kind: 'field', value: field };
    yield { kind: 'endRecord' };
  }
}

function parseCsv(text) {
  if (typeof text !== 'string') throw new TypeError('Expected a string');
  const rows = [];
  let row = [];
  for (const token of csvTokens(text)) {
    if (token.kind === 'field') row.push(token.value);
    else {
      rows.push(row);
      row = [];
    }
  }
  return rows;
}

const csv = 'name,note,extra\r\nAda,"line 1, still here\nline ""2""",';
console.log(JSON.stringify(parseCsv(csv)));

Výsledok

[["name","note","extra"],["Ada","line 1, still here\nline \"2\"",""]]

CRLF oddeľuje záznamy, no čiarka a LF v poli `note` zostávajú v hodnote. Zdvojené úvodzovky vytvoria jednu úvodzovku na každej strane `2` a koncová čiarka pridá prázdne pole. `JSON.stringify` zobrazí LF ako `\n`.

Súvisiace lekcie

  • JavaScript · Lekcia 9 · Pokročilá · Verzia: 4

Zdroje