Как спарсить ipro.etm.ru?

Question

[vaflya]

Добрый день! Подскажите как спарсить сайт ipro.etm.ru? Нюанс вот в чем:
выдает не более 100 результатов по любым фильтрам. Появилась мысль воткнуть в сайт iframe и обрабатывать цену из столбика и добавлять 20% накрутку. Пытался поподставлять значения в ajax запрос, но все ломается об ограничение 100 результатов. Просто ума не приложу как сделать.

Comments

[vaflya]

как вариатны конечно делать напрямую ajax запросы

Answer 1

[Константин]

Я не фанат парсинга. И вообще копировать материал с чужих сайтов но

ipro.etm.ru/cat/descsc.html?nn=500&t=ipro
Перебрать ссылку по nn= от 1 до 1200756

Оставить только валидные ссылки и по ним парсить инфу.

Comments

[vaflya]

отличный ход, про это я тоже подумал. Ну увы он не показывает стоимость товара. Это к сожалению важный пункт. Суть в том, что у этого поставщика и закупаемся. А вот xml json или хоть что то он не предоставляет.

[vaflya]

Причем не показывает стоимость когда авторизован на сайте. Только в таблице пишет. А результаты без стоимости не нужны.

[Константин]

ну розничная цена есть. если у вас индивидуальная цена какая то то тут конечно проблема.

[vaflya]

Константин, да, там индивидуальная цена. Меня позиция фирмы убивает.

Answer 2

[Пётр Акулинский]

:-) не одним поставщиком едины. Если вы из Сибири, то я дам вам api сайта торговой сети Планета Электрика (если вы клиент торговой сети). Юзайте по вашему разумению. Стройте сайт на нашей основе.

Comments

[vaflya]

Блин, как поздно))) Я уже год как с заказчиком, не заканчивая проект разбежался))))

Answer 3

[Игорь Вахненко]

Есть возможность быстро (примерно за два-три часа) выгрузить с сайта etm.ru все товары (там примерно 1.200.000 товаров). Перебором категорий это сделать нереально, ибо вложенных категорий много, и лимит на 200 товаров в категории, — но можно перебирать все товары из карты сайта, и быстро (многопоточной загрузкой) получать по этим товарам основные данные: артикул, наименование, цену, наличие, бренд, категорию.
Можно задать интересующие категории, чтобы выводились только товары из заданных разделов.
Как видно на скриншоте, за 3 минуты с момента запуска парсера вывелось 26 тысяч товаров: