Baza wiedzyCentrum egzaminacyjne
PLPolski
Wybierz język13

CKTIS / JavaScript

Tokenizer CSV i automat stanów parsera

Zobacz, jak automat stanów rozpoznaje pola CSV, a parser składa z nich rekordy bez dzielenia tekstu na przecinkach lub końcach wierszy wewnątrz cudzysłowów.

Wersja: ECMAScript 2024 and the current web platform; runtime support varies

Składnia

csvTokens(text) → iterable of { kind: 'field', value: string } or { kind: 'endRecord' }
parseCsv(text) → string[][]
Both functions are defined in the example; neither is a built-in API.

csvTokens rozpoznaje pola i emituje tokeny field oraz endRecord; parseCsv zbiera wartości pól do rekordu i zapisuje go po endRecord. To funkcje napisane w JavaScripcie, nie wbudowane API. Pola pozostają napisami, spacje są zachowywane, a nagłówek nie jest odróżniany od innych rekordów. Parser nie sprawdza liczby kolumn.

Automat ma cztery stany: start (początek pola), bare (pole bez cudzysłowów), quoted (wewnątrz pola cytowanego) i afterQuote (po cudzysłowie w polu cytowanym). Tylko w start cudzysłów może otworzyć pole. W quoted przecinek, LF i CR są danymi. W afterQuote kolejny cudzysłów dopisuje jeden znak " i przywraca stan quoted; w przeciwnym razie dozwolony jest tylko przecinek, koniec rekordu albo koniec danych. Dlatego samo split(',') nie wystarcza.

Poza cudzysłowami przecinek kończy pole, a LF lub CRLF kończy rekord. Koniec danych domyka rozpoczęty rekord, także puste pole po ostatnim przecinku. Pusty tekst daje zero rekordów, pusty wiersz daje rekord z jednym pustym polem, a końcowy separator rekordu nie dodaje kolejnego rekordu. Samotny CR poza cudzysłowami, niedozwolony cudzysłów, dodatkowe znaki po zamknięciu pola i niedomknięte pole cytowane powodują SyntaxError. Podane pozycje są liczone od zera w jednostkach kodowych UTF-16, nie w bajtach.

Przykład przyjmuje cały, już zdekodowany napis. Generator stopniowo emituje tokeny, ale nie czyta danych w porcjach, a parser przechowuje wszystkie rekordy. Przy pracy porcjami trzeba zachować stan i częściowe pole, również gdy granica porcji rozdziela CRLF lub "". Dla niezaufanych danych ustal limity rozmiaru i przed przekazaniem pól do arkusza kalkulacyjnego uwzględnij ryzyko interpretacji ich jako formuł; parsowanie CSV temu nie zapobiega.

Przykłady

function* csvTokens(text) {
  let state = 'start';
  let field = '';
  let pending = false; // A comma has opened another field in this record.

  for (let i = 0; i < text.length; i++) {
    const c = text[i];
    if (state === 'quoted') {
      if (c === '"') state = 'afterQuote';
      else field += c;
      continue;
    }
    if (state === 'afterQuote' && c === '"') {
      field += '"';
      state = 'quoted';
      continue;
    }

    const crlf = c === '\r' && text[i + 1] === '\n';
    const endRecord = c === '\n' || crlf;
    if (c === ',' || endRecord) {
      yield { kind: 'field', value: field };
      if (endRecord) yield { kind: 'endRecord' };
      state = 'start';
      field = '';
      pending = c === ',';
      if (crlf) i++;
    } else if (state === 'start' && c === '"') {
      state = 'quoted';
    } else if (c === '\r' || c === '"' || state === 'afterQuote') {
      throw new SyntaxError(`Unexpected character at UTF-16 offset ${i}`);
    } else {
      field += c;
      state = 'bare';
    }
  }

  if (state === 'quoted') throw new SyntaxError('Unclosed quoted field');
  if (state !== 'start' || pending) {
    yield { kind: 'field', value: field };
    yield { kind: 'endRecord' };
  }
}

function parseCsv(text) {
  if (typeof text !== 'string') throw new TypeError('Expected a string');
  const rows = [];
  let row = [];
  for (const token of csvTokens(text)) {
    if (token.kind === 'field') row.push(token.value);
    else {
      rows.push(row);
      row = [];
    }
  }
  return rows;
}

const csv = 'name,note,extra\r\nAda,"line 1, still here\nline ""2""",';
console.log(JSON.stringify(parseCsv(csv)));

Wynik

[["name","note","extra"],["Ada","line 1, still here\nline \"2\"",""]]

W danych wejściowych CRLF oddziela rekordy, a przecinek i LF w polu `note` pozostają częścią wartości. Podwojone cudzysłowy dają jeden cudzysłów po każdej stronie `2`, a końcowy przecinek dodaje puste pole. `JSON.stringify` przedstawia znak LF jako `\n`.

Powiązane lekcje

  • JavaScript · Lekcja 9 · Zaawansowany · Wersja: 4

Źródła