Распарсить json через регулярку?

Question

[Богдан]

Здравствуйте. Как распарсить json через регулярку reqex. JSON.parse() не подходит. Потому что там может быть кусок json который нужно распарсить. Спасибо.

const rawRecords = `[{"1":"1","2":"}2"}, {"2":"2","3":"3"},{"4`.matchAll(/{(?<record>(".*?"):(".*?"),?)}/g);

for (const rawRecord of rawRecords) {
  console.log(rawRecord.groups.record)
}

// "1":"1","2":"
// "2":"2","3":"3"

Comments

[Богдан]

Dr. Bacon, чанками вычитываю большой файл.

[Alexandroppolus]

Богдан, чанк - это N байт?
Есть ли в твоем json какие-нибудь символы за пределами 0-127, например, кириллица? если да, то в utf8 чанк может прерваться даже не на полуслове, а на "полубукве" (а при наличии каких-нибудь эмодзей - и того хуже, но обрабатывается одинаково).

Выглядит так, что это задача даже не на регулярки, а на посимвольный (побайтовый) конечный автомат. То есть пытаться выхватывать регулярками готовые токены бесполезно, и надо сделать суровую и честную таблицу переходов. В том числе с учетом utf8 (если, повторюсь, это имеет место). Хранить на стеке текущий собираемый токен - то есть массив, объект, значение и т.д., с учетом вложенности. Как только наткнулись на "закрывашку" (запятая или закрывающая скобка), то добавляем собираемое значение в предыдущий элемент на стеке, а если при этом собирали какое-то простое значение, например число или true/false, то делаем предварительно ему JSON.parse. И т.д., тут много нюансов..

Задача по-своему прикольная, но возможно всё-таки было бы лучше предварительно зачитать весь файл и пропарсить за один присест.

[d'Ivan]

Парсинг JSON при помощи регулярок очень неэффективен и вообще неверный подход. Посмотри на альтернативный инструмент: jq. На языке Го есть хороший пакет: https://github.com/tidwall/gjson
Не надо мудрить с регулярками при потоковой обработке JSON.

[d'Ivan]

Alexandroppolus,

Задача по-своему прикольная, но возможно всё-таки было бы лучше предварительно зачитать весь файл и пропарсить за один присест.

Ой! Нет, конечно.

[d'Ivan]

Интересно, к какому выводу пришёл автор.

[Богдан]

Román Mirilaczvili, через цикл.

let chunksMerge = '{"1": "1"}'

let indexSymbol = 0;
let isValueScan = false;
let isEscape = false;

let objStr = '';
let indexLast = 0;

for (const symbol of str) {
  indexSymbol += 1;
  objStr += symbol;

  if (isValueScan && (isEscape || symbol === '\\')) {
    isEscape = !isEscape;
  } else {
    if (symbol === '"') isValueScan = !isValueScan;

    if (isValueScan === false && symbol === '{') objStr = symbol;

    if (isValueScan === false && symbol === '}') {
      const json = (indexRecord === 1 ? '' : ',\n') + objStr;

      const buffer = Buffer.from(json);
      await writeStream.write(buffer);
      indexRecord = +1;
      JSON.parse(objStr);
      indexLast = indexSymbol;
      objStr = '';
    }
  }
}

chunksMerge = chunksMerge.slice(indexLast);

Answer 1

[Надим]

Открой старую версию jQuery: https://code.jquery.com/jquery-1.12.4.js
И найди там функцию parseJSON -> так в седой древности парсили JSON.

Comments

[Богдан]

Спасибо.

Function( "return " + str )

Такой себе вариант. Который работает с валидным json.

Answer 2

[mayton2019]

Для такого кейса
[{"1":"1","2":"}2"}, {"2":"2","3":"3"},{
есть старая задачка на собеседовании где надо парсить выражение со скобочками. По сути считать открывающиеся и закрывающиеся. В данном примере она - очень подходит. Только здесь есть одна ложная закрывающая скобочка.
{"1":"1","2":"}2"}
Исправить ее можно просто игнорируя неожиданное состояние автомата парсинга. Например двойка была неожиданной. И закрывающий bracer - тоже.

Регулярки... ну такое. Для них нужна память под дерево разбора и если вы парсите терабайтный и битый JSON то много будет оверхеда.

Comments

[Богдан]

можете скинуть пример? Спасибо.

[mayton2019]

Богдан, я не пишу на javascript. Но основу этого приложения составляет обычно большой цикл while который буква за буквой обрабатывает строку.

while(true) {
   .... 
}

Вот так. Медленно писать. Зато быстро работает в будущем.

[Alexandroppolus]

Исправить ее можно просто игнорируя неожиданное состояние автомата парсинга. Например двойка была неожиданной

двойка вообще не при чем. Здесь у нас в конечном автомате состояние "содержимое строки", в этом состоянии скобочки и запятые не обрабатываются, а обрабатывается только двойная кавычка и символ экранирования (экранировать, напомню, можно не только кавычку, но и сам символ \)