С помощью чего можно спарсить данные из ЛК на сайте?

Question

[Александр]

Понадобилось подтянуть в свою систему данные из ЛК на сайте copart.com
Попытался решить задачу с помощью Curl, но не получается, там у них защита от ботов стоит и даже если один раз получается обойти ее - второй раз может потребовать капчу -- короче для продакшена нестабильно очень

Начал исследовать вопрос и понял что нужно использовать специальные инструменты типа Selenium, PhantomJS, SlimerJS ......
Понравился вариант slimerjs - но он не работает с новыми браузерами (вроде как устарел)
Selenium - показался избыточный функционал и ресурсы

Подскажите пожалуйста какие инструменты можно было бы использовать для решения этой задачи?
Учитывая тот факт что в этой теме я полный ноль, желательно было бы с не очень порогом вхождения(работаю с PHP, JS)

В сети так много информации, что просто теряюсь, хотелось бы сузить область поиска

Answer 1

[d-sem]

puppeteer, причем желательно оригинал, а не адаптация для php.
https://github.com/puppeteer/puppeteer

предоставляет практически полноценный API к полноценному браузерному хрому (по дефолту хромиум, но одной строчкой конфига меняется на полноценный браузер).

с капчей сложнее и многое зависит от самой капчи.

хотя при таком сценарии проблем быть не должно, особенно, если сохранять куки

мне по крону нужно будет зайти на ресурс в свой ЛК и подтянуть response json
2-3 раза в день
Это будет создавать меньшую нагрузки если я буду заходить из браузера и копировать, так что с этической точки зрения - все ОК

Comments

[Александр]

спасибо, попробую - похоже что подходящее решение

Answer 2

[FanatPHP]

Если у тебя нет разрешения от сайта его парсить, то "для продакшена" вообще никакое решение не подойдет. Все равно найдут и оторвут.
Не говоря уже о том что испльзовать "для продакшена" данные чужого сайта - это свинство. Все чего ты добьешься в итоге - это обосрешь экспириенс другим пользователям, потому что сайт еще больше загрутит гайки

Comments

[Александр]

мне по крону нужно будет зайти на ресурс в свой ЛК и подтянуть response json
2-3 раза в день
Это будет создавать меньшую нагрузки если я буду заходить из браузера и копировать, так что с этической точки зрения - все ОК