@duff89

Где может быть видно, что я использую прокси в запросах?

Использую библиотеку Cloudscraper(по сути request) и Python для парсинга сайта защищенного Cloudflare. При отладке скрипта на своей локальной машине и под своим ip, всё ок, запросы проходят, код 200, контент отображается. Пришло время подключать прокси, устанавливаю примерно так:
proxy = {"http": f"http://{user}:{passw}@{ip}:{port}", "https": f"http://{user}:{passw}@{ip}:{port}"}
scraper = cloudscraper.create_scraper(proxies=proxy )

Прокси индивидуальные и рабочие,это точно.
Результат: 403 ошибка - доступ запрещен. Убираю прокси - опять всё ок. Была мысль, что не прохожу по гео принципу, чтобы проверить запускаю undetected_chromedriver (selenium с фишками) с этим прокси, сайт открывается и все работает.
Попробовал отправлять запросы на другие сайты под cloudflare, все работает хорошо, работает как нужно.
Напрашивается вывод: конкретно этот сайт видит, что я отправляю запросы из-под прокси (сам сайт, к сожалению, написать не могу).
Прошу натолкнуть на мысль, может кто-то сталкивался с похожим или просто есть идея как обойти эту проблему?

UPDATE: Дальнейшее изучение проблемы показало, что дело всё же не в Cloudflare, а в Amazon. Без использования прокси, в ответе от сервера есть x-amzn-RequestId, x-amz-version-id и другие строки с x-amzn.....
При использовании прокси этих строк нет и конечный api не дает доступ.
  • Вопрос задан
  • 103 просмотра
Пригласить эксперта
Ответы на вопрос 2
@AUser0
Чем больше знаю, тем лучше понимаю, как мало знаю.
Во-первых, списки прокси - они таки существуют! А у таких серьёзных компаний, как Cloudflare, это ого-го!

Во-вторых, прокси могут передавать заголовок X-Forwarded-For, для проксей это прямо стандарт.

В-третьих, откройте панель разработчика в браузере, и скопируйте оттуда все заголовки, которые браузер передаёт на сервер Cloudflare. Это увеличит похожесть на браузер.
Ответ написан
@zlo1
Прием сервиса https://ip-api.com/#8.8.8.8
блокировать можно не только прокси, но и регион и IP хостинг компаний
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы