SSL Python Как получить веб-страницу?

Question

[Алексей Полоз]

Нужно получить зашифрованную веб-страницу в нормальном виде
Есть такой код:

def get(src):
	context=ssl._create_unverified_context()
	with urlopen(src,context=context) as site:
		return site.read().decode()

С обычными веб-страницами всё хорошо, получает и отображает
Но при шифрованных проблемы:

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xcf in position 102: invalid continuation byte

Если убрать decode(), то будет выводиться в формате b'...'
Как исправить это? Или есть другой способ нормального вывода полученного текста?

Answer 1

[Dimonchik]

кодировка может быть и не utf8

посмотри, какую автовыбирает браузер или попробуй chardet

Answer 2

[Алексей Полоз]

def get(src):
	context=ssl._create_unverified_context()
	with urlopen(src,context=context) as site:
		text=site.read()
		return text.decode(chardet.detect(text)['encoding'])