Как правильно данные из CSV обработать и залить в SQL?
Добрый день!
Cуть вопроса, если глобально:
поставщики выдают перечень товаров в формате csv по урлу. Порядка 10 csv файлов.
У всех поставщиков могут отличаться названия столбцов, формат даты, у одного dd/mm/YYYY у другого YYYY-mm-dd и тд...по разному.
Нужно их объединить всех в одной базе (или в один CSV) , чтобы можно было выполнять поиск (фильтровать) по названию продукта, дате и сравнивать цены между разными поставщиками на фронте.
Своего рода синхронизация данных от всех поставщиков, их сортировка, чистка , вывод на фронт с фильтрами. Размеры файлов до 250 Мб.
ПОДскажите пожалуйста, решение, на чем оптимально можно реализовать такую работу с данными CSV , каким скриптом , парсером или какие то облачные решения позволяют так работать с данными из CSV ? Кто в теме ? Кто знает или может помочь?
Сложный
