Baza znanjaIzpitno središče
SLSlovenščina
Izberi jezik13

CKTIS / JavaScript

Tokenizator CSV in razčlenjevalnik s končnim avtomatom

Končni avtomat prepozna polja CSV, razčlenjevalnik pa iz njih sestavi zapise, ne da bi besedilo razdelil ob vejicah ali prelomih vrstic znotraj narekovajev.

Različica: ECMAScript 2024 and the current web platform; runtime support varies

Sintaksa

csvTokens(text) → iterable of { kind: 'field', value: string } or { kind: 'endRecord' }
parseCsv(text) → string[][]
Both functions are defined in the example; neither is a built-in API.

csvTokens prepozna polja in oddaja žetona field in endRecord. parseCsv zbira vrednosti polj in ob endRecord shrani zapis. To sta funkciji, napisani v JavaScriptu, ne vgrajena API-ja. Polja ostanejo nizi, presledki se ohranijo, glava pa se obravnava kot vsak drug zapis. Število stolpcev se ne preverja.

Avtomat ima štiri stanja: start (začetek polja), bare (polje brez narekovajev), quoted (znotraj polja v narekovajih) in afterQuote (takoj po narekovaju v tem polju). Narekovaj lahko odpre polje samo v stanju start. V quoted so vejica, LF in CR del podatkov. V afterQuote naslednji narekovaj doda dobesedni znak " in avtomat se vrne v quoted; sicer so dovoljeni le vejica, konec zapisa ali konec vhoda. Zato samo split(',') ne zadošča.

Zunaj narekovajev vejica konča polje, LF ali CRLF pa konča zapis. Konec vhoda zaključi odprti zapis, vključno s praznim poljem za končno vejico. Prazen vhod ne da nobenega zapisa; prazna vrstica da zapis z enim praznim poljem; končno ločilo zapisov ne doda novega zapisa. Samostojni CR zunaj narekovajev, nepričakovan narekovaj, besedilo za zaključnim narekovajem ali nezaprto polje v narekovajih povzroči SyntaxError. Sporočeni položaji štejejo od nič v kodnih enotah UTF-16, ne v bajtih.

Primer prejme en že dekodiran niz. Generator oddaja žetone postopoma, vendar ne bere vhoda po blokih, razčlenjevalnik pa obdrži vse zapise. Pri branju po blokih je treba ohraniti stanje in dosedanjo vsebino polja, tudi če meja bloka razdeli CRLF ali "". Za nezaupanja vreden vhod omeji velikost in pred predajo polj preglednici upoštevaj, da jih lahko obravnava kot formule. Razčlenjevanje CSV formul ne nevtralizira.

Primeri

function* csvTokens(text) {
  let state = 'start';
  let field = '';
  let pending = false; // A comma has opened another field in this record.

  for (let i = 0; i < text.length; i++) {
    const c = text[i];
    if (state === 'quoted') {
      if (c === '"') state = 'afterQuote';
      else field += c;
      continue;
    }
    if (state === 'afterQuote' && c === '"') {
      field += '"';
      state = 'quoted';
      continue;
    }

    const crlf = c === '\r' && text[i + 1] === '\n';
    const endRecord = c === '\n' || crlf;
    if (c === ',' || endRecord) {
      yield { kind: 'field', value: field };
      if (endRecord) yield { kind: 'endRecord' };
      state = 'start';
      field = '';
      pending = c === ',';
      if (crlf) i++;
    } else if (state === 'start' && c === '"') {
      state = 'quoted';
    } else if (c === '\r' || c === '"' || state === 'afterQuote') {
      throw new SyntaxError(`Unexpected character at UTF-16 offset ${i}`);
    } else {
      field += c;
      state = 'bare';
    }
  }

  if (state === 'quoted') throw new SyntaxError('Unclosed quoted field');
  if (state !== 'start' || pending) {
    yield { kind: 'field', value: field };
    yield { kind: 'endRecord' };
  }
}

function parseCsv(text) {
  if (typeof text !== 'string') throw new TypeError('Expected a string');
  const rows = [];
  let row = [];
  for (const token of csvTokens(text)) {
    if (token.kind === 'field') row.push(token.value);
    else {
      rows.push(row);
      row = [];
    }
  }
  return rows;
}

const csv = 'name,note,extra\r\nAda,"line 1, still here\nline ""2""",';
console.log(JSON.stringify(parseCsv(csv)));

Rezultat

[["name","note","extra"],["Ada","line 1, still here\nline \"2\"",""]]

CRLF loči zapise, vendar vejica in LF v `note` ostaneta del vrednosti. Podvojeni narekovaji dajo po en narekovaj na vsaki strani `2`, končna vejica pa doda prazno polje. `JSON.stringify` prikaže LF kot `\n`.

Povezane lekcije

  • JavaScript · Lekcija 9 · Napredna · Različica: 4

Viri