Доброго времени суток ! Возникла необходимость "пограбить" страницы одного ресурса. В процессе работы скрипта (на Python 2.7) выяснилось, что при частых запросах к страницам ресурса последний начинает сопротивляться. А именно - выдавать банан по ip адресу, ограничивая мою активность. Мой провайдер предоставляет динамический ip, поэтому проблему можно решить простым переподключением к сети, но для автоматизации процесса это не подходит. Пробовал выставлять задержки при обращении к страницам - помогает, но не на долго. Поможет ли мне в данном случае использование прокси ? До этого момента работать с прокси не приходилось вообще.
Попробовал использовать следующий код (Python 2.7):
proxy_support = urllib2.ProxyHandler({"http://":"http://217.219.190.209:8080"})
opener = urllib2.build_opener(proxy_support)
urllib2.install_opener(opener)
В качестве адреса прокси используется один из адресов free proxy в сети.
На сайт все равно не пускает. Что я делаю не так ? Прошу подсказать или направить на чтение нужных статей.
форматирование кода потерялось.
proxy = urllib2.ProxyHandler({'http': '127.0.0.1'})
opener = urllib2.build_opener(proxy)
urllib2.install_opener(opener)
urllib2.urlopen('http://www.google.com')
Попробуйте библиотеку grab туториал - http://habrahabr.ru/post/139435/ . Там есть работа со списком прокси.
Просто совет из личного опыта. Мне как то помог sleep от случайного значения
Всем спасибо за советы и ссылки (пригодятся) ! Проблема решилась.. Подправил, но думаю причина была все же в нерабочих адресах прокси серверов. Одно осталось не ясным.. Для тестирования работы прокси я обращался к сайту проверки ip адреса, надеялся получить адрес прокси вместо действительного, но в итоге в обоих случаях я получал реальный адрес. Почему так ?
Сложный
