Задать вопрос
@alexmixaylov

С помощью чего можно спарсить данные из ЛК на сайте?

Понадобилось подтянуть в свою систему данные из ЛК на сайте copart.com
Попытался решить задачу с помощью Curl, но не получается, там у них защита от ботов стоит и даже если один раз получается обойти ее - второй раз может потребовать капчу -- короче для продакшена нестабильно очень

Начал исследовать вопрос и понял что нужно использовать специальные инструменты типа Selenium, PhantomJS, SlimerJS ......
Понравился вариант slimerjs - но он не работает с новыми браузерами (вроде как устарел)
Selenium - показался избыточный функционал и ресурсы

Подскажите пожалуйста какие инструменты можно было бы использовать для решения этой задачи?
Учитывая тот факт что в этой теме я полный ноль, желательно было бы с не очень порогом вхождения(работаю с PHP, JS)

В сети так много информации, что просто теряюсь, хотелось бы сузить область поиска
  • Вопрос задан
  • 102 просмотра
Подписаться 1 Простой Комментировать
Решения вопроса 1
@d-sem
puppeteer, причем желательно оригинал, а не адаптация для php.
https://github.com/puppeteer/puppeteer

предоставляет практически полноценный API к полноценному браузерному хрому (по дефолту хромиум, но одной строчкой конфига меняется на полноценный браузер).

с капчей сложнее и многое зависит от самой капчи.

хотя при таком сценарии проблем быть не должно, особенно, если сохранять куки
мне по крону нужно будет зайти на ресурс в свой ЛК и подтянуть response json
2-3 раза в день
Это будет создавать меньшую нагрузки если я буду заходить из браузера и копировать, так что с этической точки зрения - все ОК
Ответ написан
Пригласить эксперта
Ответы на вопрос 1
FanatPHP
@FanatPHP
Чебуратор тега РНР
Если у тебя нет разрешения от сайта его парсить, то "для продакшена" вообще никакое решение не подойдет. Все равно найдут и оторвут.
Не говоря уже о том что испльзовать "для продакшена" данные чужого сайта - это свинство. Все чего ты добьешься в итоге - это обосрешь экспириенс другим пользователям, потому что сайт еще больше загрутит гайки
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы