Base de connaissancesCentre d’examen
FRFrançais
Choisir la langue13

CKTIS / JavaScript

Tokeniseur CSV et analyseur à machine à états

Une machine à états reconnaît les champs CSV et un analyseur assemble les enregistrements sans couper aux virgules ni aux sauts de ligne entre guillemets.

Version : ECMAScript 2024 and the current web platform; runtime support varies

Syntaxe

csvTokens(text) → iterable of { kind: 'field', value: string } or { kind: 'endRecord' }
parseCsv(text) → string[][]
Both functions are defined in the example; neither is a built-in API.

csvTokens reconnaît les champs et émet les jetons field et endRecord. parseCsv rassemble les valeurs puis enregistre la ligne à la réception de endRecord. Ce sont des fonctions JavaScript définies dans l’exemple, pas des API natives. Les champs restent des chaînes, les espaces sont conservés et un en-tête est traité comme tout autre enregistrement. Le nombre de colonnes n’est pas vérifié.

L’automate a quatre états : start (début du champ), bare (champ sans guillemets), quoted (dans un champ entre guillemets) et afterQuote (juste après un guillemet dans ce champ). Seul start permet à un guillemet d’ouvrir un champ. Dans quoted, la virgule, LF et CR font partie des données. Dans afterQuote, un nouveau guillemet ajoute un " littéral et ramène à quoted ; sinon, seuls une virgule, une fin d’enregistrement ou la fin de l’entrée sont autorisées. Voilà pourquoi split(',') ne suffit pas.

Hors guillemets, une virgule termine un champ et LF ou CRLF termine un enregistrement. La fin de l’entrée termine l’enregistrement en cours, y compris le champ vide après une virgule finale. Une entrée vide ne donne aucun enregistrement ; une ligne vide donne un enregistrement avec un champ vide ; un séparateur d’enregistrement final n’ajoute rien. Un CR isolé hors guillemets, un guillemet inattendu, du texte après le guillemet fermant ou un champ entre guillemets non fermé déclenche SyntaxError. Les positions signalées sont comptées à partir de zéro en unités de code UTF-16, et non en octets.

L’exemple reçoit une chaîne déjà décodée. Le générateur émet les jetons progressivement sans lire l’entrée par blocs, et l’analyseur conserve tous les enregistrements. Avec une entrée par blocs, il faut conserver l’état et le contenu partiel du champ, même si une frontière sépare CRLF ou "". Limitez la taille des entrées non fiables et tenez compte de l’interprétation possible des champs comme formules avant de les transmettre à un tableur : l’analyse CSV ne neutralise pas les formules.

Exemples

function* csvTokens(text) {
  let state = 'start';
  let field = '';
  let pending = false; // A comma has opened another field in this record.

  for (let i = 0; i < text.length; i++) {
    const c = text[i];
    if (state === 'quoted') {
      if (c === '"') state = 'afterQuote';
      else field += c;
      continue;
    }
    if (state === 'afterQuote' && c === '"') {
      field += '"';
      state = 'quoted';
      continue;
    }

    const crlf = c === '\r' && text[i + 1] === '\n';
    const endRecord = c === '\n' || crlf;
    if (c === ',' || endRecord) {
      yield { kind: 'field', value: field };
      if (endRecord) yield { kind: 'endRecord' };
      state = 'start';
      field = '';
      pending = c === ',';
      if (crlf) i++;
    } else if (state === 'start' && c === '"') {
      state = 'quoted';
    } else if (c === '\r' || c === '"' || state === 'afterQuote') {
      throw new SyntaxError(`Unexpected character at UTF-16 offset ${i}`);
    } else {
      field += c;
      state = 'bare';
    }
  }

  if (state === 'quoted') throw new SyntaxError('Unclosed quoted field');
  if (state !== 'start' || pending) {
    yield { kind: 'field', value: field };
    yield { kind: 'endRecord' };
  }
}

function parseCsv(text) {
  if (typeof text !== 'string') throw new TypeError('Expected a string');
  const rows = [];
  let row = [];
  for (const token of csvTokens(text)) {
    if (token.kind === 'field') row.push(token.value);
    else {
      rows.push(row);
      row = [];
    }
  }
  return rows;
}

const csv = 'name,note,extra\r\nAda,"line 1, still here\nline ""2""",';
console.log(JSON.stringify(parseCsv(csv)));

Résultat

[["name","note","extra"],["Ada","line 1, still here\nline \"2\"",""]]

CRLF sépare les enregistrements, mais la virgule et LF dans `note` restent dans la valeur. Les guillemets doublés donnent chacun un guillemet autour de `2`, et la virgule finale ajoute un champ vide. `JSON.stringify` représente LF par `\n`.

Leçons associées

  • JavaScript · Leçon 9 · Avancé · Version : 4

Sources