CKTIS / JavaScript
CSV токенизатор и синтактичен анализатор с краен автомат
Краен автомат разпознава полетата на CSV, а синтактичният анализатор сглобява записите, без да разделя текста при запетаи или нови редове в кавички.
Версия: ECMAScript 2024 and the current web platform; runtime support varies
Синтаксис
csvTokens(text) → iterable of { kind: 'field', value: string } or { kind: 'endRecord' }
parseCsv(text) → string[][]
Both functions are defined in the example; neither is a built-in API.csvTokens разпознава полетата и извежда токените field и endRecord. parseCsv събира стойностите на полетата и запазва записа при endRecord. Това са функции, написани на JavaScript, а не вградени API. Полетата остават низове, интервалите се запазват, а заглавният ред се обработва като всеки друг запис. Броят на колоните не се проверява.
Автоматът има четири състояния: start (начало на поле), bare (поле без кавички), quoted (в поле в кавички) и afterQuote (непосредствено след кавичка в това поле). Кавичка може да отвори поле само в start. В quoted запетаята, LF и CR са част от данните. В afterQuote още една кавичка добавя буквален знак " и връща автомата в quoted; иначе се допускат само запетая, край на записа или край на входа. Затова само split(',') не е достатъчно.
Извън кавичките запетаята завършва поле, а LF или CRLF завършва запис. Краят на входа приключва започнатия запис, включително празното поле след последна запетая. Празният вход не дава записи; празният ред дава запис с едно празно поле; краен разделител на записи не добавя нов запис. Самостоятелен CR извън кавичките, неочаквана кавичка, текст след затварящата кавичка или незатворено поле в кавички предизвиква SyntaxError. Посочените позиции се броят от нула в кодови единици на UTF-16, а не в байтове.
Примерът приема един вече декодиран низ. Генераторът извежда токените постепенно, но не чете входа на блокове, а анализаторът пази всички записи. При четене на блокове трябва да се запазят състоянието и частичното поле, дори ако границата разделя CRLF или "". Ограничи размера на ненадеждния вход и преди да подадеш полетата към електронна таблица, отчети, че тя може да ги интерпретира като формули. Анализът на CSV не обезврежда формулите.
Примери
function* csvTokens(text) {
let state = 'start';
let field = '';
let pending = false; // A comma has opened another field in this record.
for (let i = 0; i < text.length; i++) {
const c = text[i];
if (state === 'quoted') {
if (c === '"') state = 'afterQuote';
else field += c;
continue;
}
if (state === 'afterQuote' && c === '"') {
field += '"';
state = 'quoted';
continue;
}
const crlf = c === '\r' && text[i + 1] === '\n';
const endRecord = c === '\n' || crlf;
if (c === ',' || endRecord) {
yield { kind: 'field', value: field };
if (endRecord) yield { kind: 'endRecord' };
state = 'start';
field = '';
pending = c === ',';
if (crlf) i++;
} else if (state === 'start' && c === '"') {
state = 'quoted';
} else if (c === '\r' || c === '"' || state === 'afterQuote') {
throw new SyntaxError(`Unexpected character at UTF-16 offset ${i}`);
} else {
field += c;
state = 'bare';
}
}
if (state === 'quoted') throw new SyntaxError('Unclosed quoted field');
if (state !== 'start' || pending) {
yield { kind: 'field', value: field };
yield { kind: 'endRecord' };
}
}
function parseCsv(text) {
if (typeof text !== 'string') throw new TypeError('Expected a string');
const rows = [];
let row = [];
for (const token of csvTokens(text)) {
if (token.kind === 'field') row.push(token.value);
else {
rows.push(row);
row = [];
}
}
return rows;
}
const csv = 'name,note,extra\r\nAda,"line 1, still here\nline ""2""",';
console.log(JSON.stringify(parseCsv(csv)));Резултат
[["name","note","extra"],["Ada","line 1, still here\nline \"2\"",""]]
CRLF разделя записите, но запетаята и LF в `note` остават част от стойността. Удвоените кавички дават по една кавичка от двете страни на `2`, а крайната запетая добавя празно поле. `JSON.stringify` показва LF като `\n`.
Свързани уроци
- JavaScript · Урок 9 · Напреднало · Версия: 4