Python requests как правильно работать с proxy?

Question

[R4ndolphC4rter]

Я пишу программу на python, которая постоянно отправляет запросы на некий сайт.

r = s.post(URL, data=data, headers=headers, proxies=proxies)

переменная proxies - словарь

proxies = {
    'http': 'xxx.xx.xxx.xx:xxxx'
}

Если бы я не менял значение в словаре и отправлял бы запросы с одного ip, то сервер заблокировал бы меня на время, и я не смог бы получать корректную информацию с моего ip.

Поэтому после каждого запроса я меняю значение в словаре на другое (список этих значений подготовлен заранее ).

Проблема:
Не смотря на то, что я меняю значение proxies, сервер всё равно меня блокирует, а запросы мои не проходят.

Я не понимаю, из-за чего возникает данная проблема.

Так же я отправлял запросы на данную страницу icanhazip.com (она возвращает мой ip). Практически всегда отображаемый результат этой страницы соответствует значению proxy.

Вопрос:
Как можно исправить эту проблему? (использую requests). Или можно ли посоветовать какую-либо альтернативу?

Answer 1

[Ivan Yakushenko]

Во-первых:

proxies = {
    'http': 'xxx.xx.xxx.xx:xxxx',
    'https': 'xxx.xx.xxx.xx:xxxx'
}

Во-вторых: вы заменяете User-Agent? По стандарту он 'python-requests' - многие сайты блокируют.
В-третьих: если берете прокси из общего доступа, то он уже может быть заблокированным (на самом деле это довольно часто). Берите сразу большое кол-во прокси и пробуйте перебирать их примерно так:

proxies = []
for proxy in proxies:
    response = requests.get(proxies=proxy)
    if response.status_code == requests.codes['ok']:
        break

response.text

Comments

[R4ndolphC4rter]

Спасибо.
Исправил код на ваш из "Во-первых"

Во-вторых:
"User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36"

В-третьих:
Я взял 450 прокси и перебираю их.
Либо куча proxy, которую уже перебрали, заблокирована, либо ошибка по-прежнему не пропала.

[Ivan Yakushenko]

R4ndolphC4rter, дайте больше информации: что за сайт, какой status_code?
Причин блокировки запросов может быть много, основные из них я перечислил, с остальными нужно разбираться предметно. Может там вообще проверка на fingerprint идет.

[R4ndolphC4rter]

Ivan Yakushenko, сайт Netflix.
Страница https://www.netflix.com/ru/login
Если я не использую прокси:
Первые запросы (3-7) проходят успешно. status_code = 200 OK.
Остальные запросы не проходят. Внешний вид страницы меняется. Всё это возникает из-за того, что мой ip (как я предполагаю) временно заблокировали. На следующий день, например, я могу повторить попытки.

status_code = 403 Forbidden.

Наверное, стоит отметить, что такая картина возникает только после 3-7 запросов, отправленных программно. Если я буду отправлять запросы вручную, то могу отправлять их неограниченное (как минимум очень много) количество раз.

Дабы избежать такой блокировки, я хочу использовать прокси.

Логика:
-> Отправляю запрос с прокси
<- Получаю контент/текст страницы
Определяю по контенту/тексту страницы заблокировали мою прокси.
Если прокси не заблокировали, то отмечаю нужные мне данные, отправляю новый запрос с НОВЫМИ данными и новой прокси.
Если же прокси заблокировали, то отправляю новый запрос со СТАРЫМИ данными и новой прокси. (пока не получу нужные данные)

[Ivan Yakushenko]

R4ndolphC4rter, нашли что парсить с публичными прокси. Найдете хоть 1 живой из 1000 - скажите. Для таких целей используются как минимум приватные прокси.
Для наглядности вы можете открыть страницу в Selenium с вашими прокси и убедиться, что они заблокированные.

[Animkim]

R4ndolphC4rter,
1. Юзер агент у вас всегда один и тот же.
2. Нетфликс блокирует множество известных прокси.
3. Не один вы пытаетесь на фри прокси парсить нетфликс

[R4ndolphC4rter]

Ivan Yakushenko, ахаха, спасибо. Верю на слово. Жаль правда, очень жаль. И альтернативного (моей "Логике") алгоритма нет?

[R4ndolphC4rter]

Animkim, 2 и 3 понял, а вот 1... Имеется ли у вас пример, как его изменить? А то я что-то не понимаю. Ну или хотя бы на словах описать.

[Ivan Yakushenko]

R4ndolphC4rter, не в алгоритме дело, а в том что, как написал чуть выше Animkim не вы один решили использовать публичные прокси, что-бы нетфликс парсить - большая часть из них уже попадает в свободный доступ "после отработки". Пробуйте приватные прокси, начать можете с luminati.

[Ivan Yakushenko]

R4ndolphC4rter, random_user_agent

[R4ndolphC4rter]

Ivan Yakushenko, обязательно ознакомлюсь. И ещё раз спасибо :)

[Ivan Yakushenko]

R4ndolphC4rter, если вам помог ответ - отметьте его решением, возможно он поможет еще кому-то, кто будет искать подобное.

[KvantVS]

Ivan Yakushenko, я извиняюсь, Не хочу делать отдельный вопрос, т.к. суть просто понять - как работает словарь с проксями, передаваемый в requests? Но понять не получается, т.к. если первый прокси в списке "недоступен" (MaxRetryError / ProxyError / ConnectionRefusedError и т.д.), то следующие в списке не используются. Хоть в блоке try:, хоть без него.
Как только комментирую первые прокси в словаре вплоть до того, который точно работает - так всё работает сразу.

[leksuss]

KvantVS, proxies - словарь, в котором описываются прокси для различных протоколов. А не словарь, в который можно запихать кучу проксей, и которые requests будет перебирать.
https://requests.readthedocs.io/en/master/user/adv...