@svsanek

Как проанализировать большие файлы json?

Есть большой набор json файлов. порядка 2000. Некоторые файлы весят больше 1Gb. Структура json файлов разная, но есть связи между ними - например, если файл sales.json в нем есть массив goods, в goods есть refId - вот он уникальный. Нужно напрмер понять - в каких json файлах есть еще упоминание этого refId. Обычным поиском - долго и неудобно.
Желание такое - прогрузить эти файлы на сервер и писать запросы - например найди мне все файлы, где упоминается этот refId.
Может elastic seach подойдет?
  • Вопрос задан
  • 179 просмотров
Решения вопроса 1
leahch
@leahch
3D специалист. Dолго, Dорого, Dерьмово.
Да, ES однозначно подойдет!!! Есть одно маленькое НО - нужно (очень желательно) писать маппинг, хотя мапинг по умолчанию бывает очень ничего (у каждого поля есть .raw свойство: по которому можно искать полной фразой).

С другой стороны, даже если сначала мапинг правильный не сделаете, всегда данные можно перелить в другой индекс с правильным мапингом.
Ну и json-файлы с разной структурой заливайте в разные индексы. Искать можно сразу по нескольким индексам.
Ответ написан
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы