Как парсить данные с сайта?

Question

[Роман]

Нужно получить цену с товаров wildberries.

В идеале сделать средствами php, но я не особо уверен, что это возможно)

Попробовал реализовать при помощи simple html dom. Всё получилось, но после загрузки wildberries меняет цену, применяя ещё одну скидку. Вот нужно цену узнать вместе с этой скидкой.

Подскажите при помощи чего (средствами веб программирования) можно реализовать это? Спасибо

Answer 1

[Максим Тимофеев]

1. Вероятно там цена привязана к сессии и/или кукам.
2. Средствами php это можно сделать. CURL + парсер. Парсер "simple html dom" вполне, но медленный. Если только цену, то быстрее будут регулярные выражения. Вообще парсеров для php куча.
3. Есть такая штука, как лимиты запросов. Так что парсинг 1 цены не должен составить труда. Но вот когда Вы начнете парсить тысячами - там будут проблемы. Будет банить Ваш ip из-за частых запросов. Но тут хоть php, хоть ПО, хоть что угодно - проблема останется. Надо ставить паузы, юзать прокси и т.д.

Comments

[Роман]

спасибо, парсить надо цен 10 не чаще. пары раз в час. думаю как раз без проьлем будет