Как реализовать подключение по разным прокси через urllib.request.urlopen?

Question

[Mark Adams]

Есть ф-я:

def get_html(url): 
  try:
    response = urllib.request.urlopen(url).read()
  except:
    print('get error')
    response = '0'
  return response

В случае ошибки подключения, нужно переподключиться через другой прокси. Как это сделать? И как вообще задавать и вызывать прокси из списка?

Answer 1

[Владимир Куц]

Можно так например:

import urllib2
import random

http_proxies = ['http://proxy1.com', 'http://proxy2.com', 'http://proxy3.com', ... ]

need_receive_data = True
while need_receive_data:
   try:
        random_proxy = random.choice(http_proxies)
        print 'Trying {proxy}'.format(proxy=random_proxy)
        proxy_handler = urllib2.ProxyHandler({'http': random_proxy })
        proxied = urllib2.build_opener(proxy_handler)
        proxied.open('http://какой-то сайт')
    except urllib2.HTTPError, e:
        print 'Error {err}'.format(err=str(e))
    else:
        need_receive_data = False
print proxied.read()

написано наспех и не проверено, но смысл, думаю, - ясен

Comments

[Mark Adams]

как быть если сервер не отвечает? Бесконечно будет работать цикл?

[Владимир Куц]

Илья Кметь: ну дык я написал - что это вариант наспех написанный на коленке чтобы показать сам принцип. Ничто не мешает ввести вам проверки в скрипт на количество итераций, таймауты и прочее по вкусу.

[Mark Adams]

Владимир: не в курсе как быть? OpenerDirector instance has no attribute 'read'

[Mark Adams]

Владимир: как прочесть запрос?