Как правильно данные из CSV обработать и залить в SQL?

Question

[Алексей]

Добрый день!
Cуть вопроса, если глобально:
поставщики выдают перечень товаров в формате csv по урлу. Порядка 10 csv файлов.
У всех поставщиков могут отличаться названия столбцов, формат даты, у одного dd/mm/YYYY у другого YYYY-mm-dd и тд...по разному.
Нужно их объединить всех в одной базе (или в один CSV) , чтобы можно было выполнять поиск (фильтровать) по названию продукта, дате и сравнивать цены между разными поставщиками на фронте.
Своего рода синхронизация данных от всех поставщиков, их сортировка, чистка , вывод на фронт с фильтрами. Размеры файлов до 250 Мб.
ПОДскажите пожалуйста, решение, на чем оптимально можно реализовать такую работу с данными CSV , каким скриптом , парсером или какие то облачные решения позволяют так работать с данными из CSV ? Кто в теме ? Кто знает или может помочь?

Comments

[d'Ivan]

В чем именно затруднения?

Answer 1

[Евгений]

BULK INSERT?

Comments

[Алексей]

Оно работает с Nginx CentOS?

[Евгений]

Алексей, оно, если вы открыли ссылку, позволяем впихнуть CSV с SQL. А дальше дело техники.

Answer 2

[AVKor]

Скрипт на любом языке, позволяющем нормально парсить CSV файлы. Например, ruby + smarter_csv gem.

Comments

[Алексей]

smarter_csv gem оно работает с Nginx CentOS?

[AVKor]

Алексей,

smarter_csv gem оно работает с Nginx CentOS?

Nginx тут вообще ни при чём. Работает на любой платформе, где есть возможность поставить ruby. CentOS, в частности.