Python 3 и redirect получить последний url с помощью urllib или http.client?

Question

[Денчик]

Задача состоит в том что бы получить все url в лучшем случае, ну или последний используя библиотеки из коробки (urllib, http.client) не используя (requests и httplib2 и тд.) реальная задача? Буду признателен за любую подсказку в этом направлении.
Возможно как то используя HTTPRedirectHandler?

Answer 1

[Andy_U]

Вот этот код:

from urllib.request import Request, urlopen
req = Request('http://bash.org.ru', headers={'User-Agent': 'Mozilla/5.0'})
webpage = urlopen(req)
print(webpage.geturl())

выдает как раз последний URL:

bash.im

Чтобы получить промужуточные, на Stackoverflow говорят, что надо писать свой opener. Гтовых примеров, увы, тоже не нашел.

Comments

[Денчик]

Вариант с urlopen не подходит получаю ошибку, возможно потому что редирект идет на файл.
В итоге ссылка выглядит вот так:
http://fs38.www..xx.xx/get/b5ab72eb75a08772d1f53d0...
Я пробывал через http.client но как то криво получается:
сама ссылка: 'www.xx.xx/get/140426640'

import http.client
import urllib.parse
conn = http.client.HTTPConnection('www.xx.xx')
conn.request('GET', '/get/140426640')
resp = conn.getresponse()
h_url = str(resp.getheader('Location'))
file_name = h_url.split('/')[-1]
file_ext = file_name[-4:]
tr_file_name = file_name[:-4]
print(urllib.parse.unquote(tr_file_name, 'utf-8')+file_ext)

Принт по идее должен вывести имя файла.
Но выводит какую то хрень в непонятной кодировке: 03 СейÑи.mkv

[Andy_U]

У меня "ваш" сайт ни в Firefox'е, ни в питоне не находится. Если не хотите его "светить", то хот бы stack trace сообщите.

P.S. И попробуйте печатать не на консоль, а в файл.

[Денчик]

Сайт открыт только для определенной ip зоны
>>> from urllib.request import Request, urlopen
>>> req = Request('www.xx.xx/get/140426640', headers={'User-Agent': 'Mozilla/5.0'})
>>> webpage = urlopen(req)
Traceback (most recent call last):
File "", line 1, in
webpage = urlopen(req)
File "C:\Python34\lib\urllib\request.py", line 153, in urlopen
return opener.open(url, data, timeout)
File "C:\Python34\lib\urllib\request.py", line 461, in open
response = meth(req, response)
File "C:\Python34\lib\urllib\request.py", line 571, in http_response
'http', request, response, code, msg, hdrs)
File "C:\Python34\lib\urllib\request.py", line 493, in error
result = self._call_chain(*args)
File "C:\Python34\lib\urllib\request.py", line 433, in _call_chain
result = func(*args)
File "C:\Python34\lib\urllib\request.py", line 676, in http_error_302
return self.parent.open(new, timeout=req.timeout)
File "C:\Python34\lib\urllib\request.py", line 455, in open
response = self._open(req, data)
File "C:\Python34\lib\urllib\request.py", line 473, in _open
'_open', req)
File "C:\Python34\lib\urllib\request.py", line 433, in _call_chain
result = func(*args)
File "C:\Python34\lib\urllib\request.py", line 1202, in http_open
return self.do_open(http.client.HTTPConnection, req)
File "C:\Python34\lib\urllib\request.py", line 1174, in do_open
h.request(req.get_method(), req.selector, req.data, headers)
File "C:\Python34\lib\http\client.py", line 1090, in request
self._send_request(method, url, body, headers)
File "C:\Python34\lib\http\client.py", line 1118, in _send_request
self.putrequest(method, url, **skips)
File "C:\Python34\lib\http\client.py", line 975, in putrequest
self._output(request.encode('ascii'))
UnicodeEncodeError: 'ascii' codec can't encode characters in position 57-66: ordinal not in range(128)

[Andy_U]

Из обычного бразузера работает? Тогда смотрите wireshark'ом, какие заголовки он отправляет, какие питон. Ну, и что обратно приходит. Или на исходники отладчиком посмотреть - там перед тем местом, где было сгенерировано исключение стоит комментарий, типа, надо было раньше бороться с "левыми" символами.

P.S. Или найдите публичную ссылку с аналогичным поведением.