Как спарсить сайт, у которого есть очень интерестный антибот?

Question

[Boriol]

На сайте rbt.ru подключили блокировку от парсинга. После отправления запроса на их сайт, идет редирект на какой-то сторонний сервис ohio8.vchecks.info/.....
В конце js-скрипта, который там лежит, генерируются 3 параметра, которые нужны для формирования нового урла и генерации кук.
Может кто помочь обойти данную защиту ??

Answer 1

[alex5e]

В качестве 100% варианта можно рассмотреть headless-Chrome с webdriver для python, но это потребует больших ресурсов, нежели обычный http-клиент

import time

from selenium import webdriver
import selenium.webdriver.chrome.service as service

service = service.Service('/path/to/chromedriver')
service.start()
capabilities = {'chrome.binary': '/path/to/custom/chrome'}
driver = webdriver.Remote(service.service_url, capabilities)
driver.get('http://www.google.com/xhtml');
driver.quit()

Comments

[3u93n3]

Проблема как раз возникает на headless режиме, с прорисовкой все работает

Answer 2

[АртемЪ]

Два варианта - либо вы выясняете что делает скрипт, и эмулируете это программно
Либо просто управляете браузером например через selenium, или через плагин, тогда он сам выполнит JS и проблем нет.

Первый вариант - долго и нудно разбираться что там и как.
Второй вариант - работает медленней, и ресурсов требует много, зато запустить парсинг можно быстро.

Answer 3

[Danil Sapegin]

phantomjs / casperjs

Answer 4

[Максим Тимофеев]

Присоединяюсь к коллегам и добавлю ПО, если ручками не хочется:
sbfactory.ru/?p=600