Как настроить импорт прайсов из excel в БД?

Question

[Sergey Filnor]

Добрый день.

Есть несколько различных файлов прайсов в excel, импорт которых нужно настроить в БД.
Проблема в том что все файлы имеют разную структуру, количество позиций и т. д.

Какие есть варианты реализации подобного функционала?

Comments

[AVKor]

Экспорт бывает в, а из бывает импорт.

[Валерий Рябошапко]

AVKor: тогда уж стоит и к слову «функционал» придраться :-)

Answer 1

[Валерий Рябошапко]

По всей видимости, файлы приходят из разных источников?

В таком случае разумно написать класс Товар, который не делает почти ничего, только описывает основные поля и имеет методы записать_в_базу() и, возможно, проверить_наличие_в_базе().

Далее на каждый источник файлов пишется свой парсер, который разбирает файл на массив таких объектов и у каждого по очереди вызывает сначала метод проверить_наличие_в_базе(), и при отрицательном ответе вызывает записать_в_базу().

Если нужно не только заносить новые объекты, но и обновлять старые, то логика второго пункта чуть усложняется, но не критично.

Comments

[65536]

лучше утвердить один формат и под него причесывать прайсы из источников в экселе (написать клиенту инструкцию и он сам будет этим заниматься). парсеров на всех поставщиков не напасешься, тем более даже в пределах одного поставщика может и не быть определенного формата. в общем там полный хаос, парсеры писать-переписывать всю жизнь

[Валерий Рябошапко]

65536: это зависит от того, кто в ком больше заинтересован. Если мелкий магазинчик покупает у нескольких крупных производителей, то ради него никто переделывать свои форматы не станет. Если же это крупная розничная сеть, то да, она может заставить производителей плясать под свою дудку. Но что-то мне подсказывает, что программисты Ашана или Дикси не задают таких вопросов в таких местах :-) Да и вопрос был именно о том, как сделать парсинг разношёрстных данных.

[65536]

Валерий Рябошапко: да я не про это. естественно поставщик не будет под твой магазинщик ничего форматировать. я про то что сам магазин перед импортом в базу приводит файлы в специальный формат в экселе (мб даже руками секретарши). я сколько магазов с импортом делал, каждый раз делал так. парсить каждого поставщика это анриал, либо настолько долго/дорого, что магазину будет проще самому полировать экселевские файлы чем поддерживать программиста с парсерами. то что идет от поставщиков это совершенно не структурированные данные в половине случаев, в остальной половине тоже какая-нибудь муть есть, где без человека никак

[Валерий Рябошапко]

65536: да, в такой формулировке согласен.

Answer 2

[Григорий]

Отталкиваться от закономерностей в полях прайсов. Допустим поле цены обычно содерит только цифры, а поле с наименованием либо в первом, либо во втором столбце (первый часто делают для нумерации позиций). Бывает столбец с типом валюты. Бывает скидочный столбец... И учитывая определенные особенности можно задавать условия для загрузки в БД. Например, если первый столбец имеет числовое значение -> идём ко второму столбцу -> если здесь текст: определяем как имя товара -> следующий столбец: если имеется "%" значит скидка -> следующий: если "руб" или "usd" значит тип валюты -> следующий: если число значит цена.
P.S.: а можно вообще сделать подгрузку правил из внешнего файла, к примеру в формате INI или XML. А в нём указывать, какое по счёту поле в куда загружать. И в обычном блокноте за пару минут создавать правила для прайса нового контрагента.

Comments

[Валерий Рябошапко]

Эвристики — это круто :-)

[Григорий]

Валерий Рябошапко: ну вот. :-) а преподы говорили: "Дурак! Ты тратишь время в пустую! Есть теория!" :-D А оказывается таким как я есть научное название...

[Валерий Рябошапко]

Григорий: я имел ввиду не Вас, а Ваш алгоритм :-) Эвристический алгоритм.

[Григорий]

Валерий Рябошапко: так у меня вся жизнь такая как этот алгоритм. :-D

[65536]

Григорий: ну и как, залилось что-нибудь в базу-то?

[Григорий]

65536: да. Сохранил в формате CSV, и залил в MySQL. По сути костыль, но самый простой и доступный.

Answer 3

[Оптимус Пьян]

1. На каждый тип сделать свой отдельный парсер, в БД приводить всё к общему виду.
2. В БД иметь столько таблиц сколько типов прайсов у вас есть, каждый тип писать в свою таблицу
3. Заморочиться с универсальным парсером который сам определяет тип, но тут сильно звисит от их количества и различий

Answer 4

[Макс]

а я бы попробовал анализировать заголовок таблицы. Ну не так уж и много синонимов у "названия товара".