Как проверить список прокси к определенному домену?

Question

[tarroma9]

Есть список прокси и определенный домен, который делает редирект на CloudFlare и капчу, в случае, если считает IP подозрительным. Подскажите пожалуйста, как можно технически реализовать проверку возможности открытия исходного домена и если нет редиректа, то добавить проверяемый прокси, в список валидных? Может уже есть подобный софт или сайт? Заранее благодарен за ответы.

Answer 1

[devalone]

Смотря как он делает редирект. Грузить либо клиентом вроде curl, либо чем-то вроде selenium'а и смотреть, есть ли в этих данных капча. Только ещё нужно учитывать, что капча появляется не всегда и может быть такое, что проверил IP, потом делаешь запрос, а там капча.
Если нужно решение, которое можно запустить на сервере и постоянно получать рабочие прокси, у меня есть проект https://github.com/DevAlone/proxy_py Он собирает прокси из открытых источников и чекает, если в настройках изменить PROXY_CHECKERS, то сможет проверять именно для вашего сайта, сейчас проверяет на ipinfo.io https://github.com/DevAlone/proxy_py/blob/master/c...