Где и как лучше запарсить большую базу электронных компонентов?

Question

[Егор Трегубенко]

Вопрос больше организационного характера :делаем большой интернет магазин, на данный момент есть точки продаж по электроинструменту, соответственно есть база из 1с, как её интегрировать впринципе понятно, но по электронным компонентам ассортимент довольно сложный и продажей мы ещё не занимались, только планируем, есть определенные поставщики , у них также все довольно запутано, заводить свою базу в 1с, где у какого нибудь дачтика будет 100 штук ску (разн.) это ад, может есть какие то площадки , или организации которые отдают свою базу в виде json или xml ? есть возможность парсить с яндекса, но у них далеко не все есть. как вообще лучше поступить? писать граберы?), даже если парсить разные товары у разных поставщиков, можно ли будет это все объеденить и насколько это трудозатратно?

Answer 1

[Сергей]

площадок таких нет
если товары брендовые,а не no name -они имеют баркод,по нему можно соединить sku от разных поставщиков

Берете матрицы товарные от каждого поставщика и анализируете данные (столбцы со свойствами).
а) если их можно обобщить-делаете одну сводную
б) если все таблицы разные (бывает что свойства все указаны в строке с названием или вообще не указаны),то тут:
-производите манипуляции с разделением данных столбца на несколько (очень мутороно и неэффективно,если таких таблиц много)
-миритесь и заливаете на сайт все (будут дубли)-но их можно не выкладывать на сайт,а отдать приоритет одному поставщику,у которого более выгодные условия на этот товар