Почему при парсинге сайта на python сервер может отдавать 307 ошибку?

Question

[MaxEpt]

Вот сама ошибка:
urllib.error.HTTPError: HTTP Error 307: The HTTP server returned a redirect error that would lead to an infinite loop.
Вот функция, которая получает html
def getHtml(url):
print(url)
response = urllib.request.urlopen(url)
return response.read()
Гугл дает советы что нужно делать что то с куками, но применить не как не получается.
Может кто-нибудь помочь? контента очень много, показывать заказчику завтра, спасет только рабочий скрипт )))

Answer 1

[Dimonchik]

замени получение страницы этой библиотекой docs.python-requests.org/en/latest

Comments

[MaxEpt]

спасибо, очень помогло. за счет чего срабатывает, не могли бы рассказать?

[Dimonchik]

для хттп запросов есть супер либа cURL, но, например, под винду, ее фиг поставишь под 3.4 - 3.5 и = она внешняя, есть urllib - она входит в основную библиотеку, и в 3.4 версии ее уже неплохо упростили, в 2.7 посложнее было, но, увы, для работы с куками и заголовками она хитровые, работает -но нужно повозиться, не в пример cURL. Requests - это надстройка над urllib, уменьшающая сложность, но все равно до pyCurl им далеко

[MaxEpt]

dimonchik2013: понял, спасибо еще раз :)