Возможно ли обойти капчу при парсинге?

Question

[Илья Белобородов]

Получил тестовое задание тянуть инфу с кое-какого магаза.

Делаю с помощью библиотеки https://github.com/symfony/panther (chromedriver).
Пол дня мучился с установкой этого хромдрайвера, и вот установил. Радостно скормив ссылку клиенту я был обескуражен просьбой клаудфлэр доказать, что я не робот.
Есть решения? Или я с тестовым заданием не справился?

Comments

[Дмитрий]

Стоит понять как вас ловят. Вообще то по умолчанию хеадлесс браузер честно сообщает что он бот. Могут ловить по ip - если вы лезете с какого нибудь ДЦ. Если только это - то можно обойти. Если сложнее то - копайте в сторону undetected_chromedriver и прочего веселья.

З.Ы. Но вообще какое то странное тестовое задание. Ибо борьба с антиботами это блин не задание а вагон экспериментов.

Answer 1

[Владимир Коротенко]

Сугубо опыт, клиенты с парсингом наиболее проблемные клиенты, более проблемные наверно только трейдеры на форекс.

Обход капчи это путь в никуда и один из звоночков что нужно сваливать.

В общем поищите других работодателей

Answer 2

[Dimonchik]

посмотри -мигалка работает?
работает - не работает - работает - не работает

все на моменте
Клаудфлар обходится, но - постоянно методы меняются

пробуй самое простое, но мутордное в кодировании - маскировка под норм браузер, IP и посещение нескольких сайтов, чтобы клауд решил что ты не бот
но этого мало, после нескольких зхапросов все равно придется

в общем, задача не совсем простая