Всем привет.
- Есть проект, на котором люди оставляют отзывы на определенные товары.
- Есть партнерская площадка admitad, где компании платят веб-мастерам за лиды.
- Проект монетизируется тем, что люди смотрят отзывы (обзорные статьи), потом переходят по ссылке в магазин и там делают покупку.
Проблема заключается в том, что партнерские магазины время от времени уходят, закрываются, появляются новые, обновляют свои товары и так далее. В итоге, актуализация всех данных (а это порядка - 20 000 товаров) занимает месяц работы (а то и больше).
Можно ли написать систему, которая бы брала данные из нашего каталога отзывов, брала некий произвольный интернет магазин и соотносила
- URL
- Цену
- Наличие
Мои попытки написать такую систему столкнулись с тем, что:
1) Товары сложно соотнести, так как веб-мастера называют их как хотят. В итоге, даже если в магазине есть товар, не факт, что он будет иметь официальное название. (даже если вбивать официальное имя товара и конкретный сайт в гугл/яндекс, то не факт, что найдут именно то, что надо).
2) Часто разные размеры, разные цвета выставляются отдельными лотами, в итоге идет неразбериха.
3) Под каждый магазин надо делать отдельный анализатор html - но это меньшее из зол. Тут бьютисуп справляется.
Или такая система это уже из разряда рокет саенса и в одного такое не делается?
