Задать вопрос
@svsanek

Как проанализировать большие файлы json?

Есть большой набор json файлов. порядка 2000. Некоторые файлы весят больше 1Gb. Структура json файлов разная, но есть связи между ними - например, если файл sales.json в нем есть массив goods, в goods есть refId - вот он уникальный. Нужно напрмер понять - в каких json файлах есть еще упоминание этого refId. Обычным поиском - долго и неудобно.
Желание такое - прогрузить эти файлы на сервер и писать запросы - например найди мне все файлы, где упоминается этот refId.
Может elastic seach подойдет?
  • Вопрос задан
  • 186 просмотров
Подписаться 1 Простой Комментировать
Решения вопроса 1
leahch
@leahch
3D специалист. Dолго, Dорого, Dерьмово.
Да, ES однозначно подойдет!!! Есть одно маленькое НО - нужно (очень желательно) писать маппинг, хотя мапинг по умолчанию бывает очень ничего (у каждого поля есть .raw свойство: по которому можно искать полной фразой).

С другой стороны, даже если сначала мапинг правильный не сделаете, всегда данные можно перелить в другой индекс с правильным мапингом.
Ну и json-файлы с разной структурой заливайте в разные индексы. Искать можно сразу по нескольким индексам.
Ответ написан
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы
Сбер Москва
от 300 000 до 350 000 ₽
DIGITAL SECTOR Краснодар
от 250 000 до 450 000 ₽
Сбер Санкт-Петербург
До 350 000 ₽