Где может быть видно, что я использую прокси в запросах?

Question

[duff89]

Использую библиотеку Cloudscraper(по сути request) и Python для парсинга сайта защищенного Cloudflare. При отладке скрипта на своей локальной машине и под своим ip, всё ок, запросы проходят, код 200, контент отображается. Пришло время подключать прокси, устанавливаю примерно так:

proxy = {"http": f"http://{user}:{passw}@{ip}:{port}", "https": f"http://{user}:{passw}@{ip}:{port}"}
scraper = cloudscraper.create_scraper(proxies=proxy )

Прокси индивидуальные и рабочие,это точно.
Результат: 403 ошибка - доступ запрещен. Убираю прокси - опять всё ок. Была мысль, что не прохожу по гео принципу, чтобы проверить запускаю undetected_chromedriver (selenium с фишками) с этим прокси, сайт открывается и все работает.
Попробовал отправлять запросы на другие сайты под cloudflare, все работает хорошо, работает как нужно.
Напрашивается вывод: конкретно этот сайт видит, что я отправляю запросы из-под прокси (сам сайт, к сожалению, написать не могу).
Прошу натолкнуть на мысль, может кто-то сталкивался с похожим или просто есть идея как обойти эту проблему?

UPDATE: Дальнейшее изучение проблемы показало, что дело всё же не в Cloudflare, а в Amazon. Без использования прокси, в ответе от сервера есть x-amzn-RequestId, x-amz-version-id и другие строки с x-amzn.....
При использовании прокси этих строк нет и конечный api не дает доступ.

Answer 1

[AUser0]

Во-первых, списки прокси - они таки существуют! А у таких серьёзных компаний, как Cloudflare, это ого-го!

Во-вторых, прокси могут передавать заголовок X-Forwarded-For, для проксей это прямо стандарт.

В-третьих, откройте панель разработчика в браузере, и скопируйте оттуда все заголовки, которые браузер передаёт на сервер Cloudflare. Это увеличит похожесть на браузер.

Comments

[duff89]

1) Списки прокси существуют это 100%. Но тот же селениум с этим прокси проходит на сайте, т.е Cloudflare этот ip устраивает
2,3) заголовки копировал с реального браузера, но проверю еще раз этот момент