Какой стек технологий выбрать для обработки и импорта данных?

Необходимо подгружать с диска файлы разных форматов(xml, json, csv), валидировать их по заданным правилам.
Желательно чтоб правила валидации задавались в json.
Затем из этого всего подставить нужные значения в нужные поля, то есть из файла 1 поле name подставить по индексу данные в dict из главного файла который затем импортируется в базу.
Данных в файлах может быть много по 10к-100к строк.
Какой стек посоветуете?
  • Вопрос задан
  • 224 просмотра
Пригласить эксперта
Ответы на вопрос 2
@spotifi
Типичная консольная утилита. Делается на любом языке, который лучше знаешь. Умные слова типа "стек" здесь вообще не умесны, если, конечно, не стоит задача обработать 1 пентабайт данных за 10 минут.
Ответ написан
Комментировать
Acheron
@Acheron
Pandas, Numpy и свой валидатор.
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы