Использование Proxy в Python,

Question

[Evelion]

Доброго времени суток ! Возникла необходимость "пограбить" страницы одного ресурса. В процессе работы скрипта (на Python 2.7) выяснилось, что при частых запросах к страницам ресурса последний начинает сопротивляться. А именно - выдавать банан по ip адресу, ограничивая мою активность. Мой провайдер предоставляет динамический ip, поэтому проблему можно решить простым переподключением к сети, но для автоматизации процесса это не подходит. Пробовал выставлять задержки при обращении к страницам - помогает, но не на долго. Поможет ли мне в данном случае использование прокси ? До этого момента работать с прокси не приходилось вообще.

Попробовал использовать следующий код (Python 2.7):

 proxy_support = urllib2.ProxyHandler({"http://":"http://217.219.190.209:8080"})
    opener = urllib2.build_opener(proxy_support)
    urllib2.install_opener(opener) 

В качестве адреса прокси используется один из адресов free proxy в сети.

На сайт все равно не пускает. Что я делаю не так ? Прошу подсказать или направить на чтение нужных статей.

Answer 1

[peter_volkov]

форматирование кода потерялось.

proxy = urllib2.ProxyHandler({'http': '127.0.0.1'})
opener = urllib2.build_opener(proxy)
urllib2.install_opener(opener)
urllib2.urlopen('http://www.google.com')

Comments

[Сергей]

ну и можно proxy URL более хитрый делать: <source>proxy = urllib2.ProxyHandler({'http': 'http://proxy-user:proxy-password@127.0.0.1:8080'})</source> на случай если proxy с авторизацией и/или на каком-то специфическом порту

[Evelion]

Учту, хотя обычных прокси пока хватает. Правда скорость на них ппц..

Answer 2

[NeX]

http://www.python-requests.org/en/latest/user/advanced/#proxies

Comments

[homm]

requests наше все

Answer 3

[ASPAnt]

Попробуйте библиотеку grab туториал - http://habrahabr.ru/post/139435/ . Там есть работа со списком прокси.

Answer 4

[briskly]

Просто совет из личного опыта. Мне как то помог sleep от случайного значения

Comments

[Evelion]

Слип в моем случае тоже помогает, но не на долго.. потом все равно банят. А если делать его достаточно часто то сильно упадет скорость работы, что тоже не желательно.

Answer 5

[Evelion]

Всем спасибо за советы и ссылки (пригодятся) ! Проблема решилась.. Подправил, но думаю причина была все же в нерабочих адресах прокси серверов. Одно осталось не ясным.. Для тестирования работы прокси я обращался к сайту проверки ip адреса, надеялся получить адрес прокси вместо действительного, но в итоге в обоих случаях я получал реальный адрес. Почему так ?