Какой стек технологий выбрать для обработки и импорта данных?
Необходимо подгружать с диска файлы разных форматов(xml, json, csv), валидировать их по заданным правилам.
Желательно чтоб правила валидации задавались в json.
Затем из этого всего подставить нужные значения в нужные поля, то есть из файла 1 поле name подставить по индексу данные в dict из главного файла который затем импортируется в базу.
Данных в файлах может быть много по 10к-100к строк.
Какой стек посоветуете?
Типичная консольная утилита. Делается на любом языке, который лучше знаешь. Умные слова типа "стек" здесь вообще не умесны, если, конечно, не стоит задача обработать 1 пентабайт данных за 10 минут.