Как настроить кодировку при сохранении html файла в urllib (python 3.4)?

Question

[Mist8]

Нужно скачать и сохранить станицу. Простая задача, но не понимаю что делать с кодировкой.

import urllib.request

url = 'http://yandex.ru'
html = urllib.request.urlopen(url).read()

f = open('page.html', 'w')
f.write(str(html))

Код сохраняет страницу, но в неправильной кодировке. Что нужно исправить в коде, чтобы страница сохранялась в правильной кодировке? Если распечатать print(html) - так же неправильная кодировка.

Answer 1

[Andrey Dugin]

1) Какая кодировка прописана в заголовках meta самой страницы, и также о какой кодировке сообщает сервер?
2) В какую кодировку всё это сохраняется, и соответствует ли кодировка в meta фактической кодировке?

Технически просто - если, скажем, страница в utf-8, а надо сохранить в cp1251:

html = urllib.request.urlopen(url).read().decode('utf-8').encode('cp1251')

... и проверить кодировку в meta-заголовке сохранённой страницы.

str(html) - лишнее, html и так строка.

Comments

[Mist8]

Андрей Дугин на странице в meta и сервер отдает windows-1251. В вашем примере пробовал заменить decode('windows-1251').encode('cp1251') и decode('windows-1251').encode('utf-8') - но все равно кодировка неправильная, если пытаюсь открыть/распечатать результат.

str(html) - лишнее, html и так строка - сначала без str(html) писал, но тогда возникает ошибка: TypeError: must be str, not bytes Не пойму откуда она, т.к. в примерах, как вы и написали, работает без str()

[Andrey Dugin]

Mist8: ссылку на страницу, которую пытаетесь скачать, можете дать?

[Mist8]

Андрей Дугин: classic.dzzzr.ru/moscow/?section=arc&gmid=893&what...

[Andrey Dugin]

В Python 2.7 всё ОК:

# -*- coding: utf-8 -*-

import urllib

url = 'http://classic.dzzzr.ru/moscow/?section=arc&gmid=893&what=comment'
html = urllib.urlopen(url).read()

with open('z:\page.html', 'w') as f:
    	f.write(html)

[Andrey Dugin]

В Python 3.x по умолчанию юникод, можно попробовать .encode('cp1251')

[Mist8]

Андрей Дугин: помогло просто html = urllib.request.urlopen(url).read().decode('cp1251')

Answer 2

[Mist8]

Решение (добавить к строке запроса ".decode('cp1251')" ):

import urllib.request


url = 'http://example.com'

html = urllib.request.urlopen(url).read().decode('cp1251')

f = open('page.html', 'w')
f.write(html)

Comments

[Andrey Dugin]

Опять str(html) :)

[Mist8]

Андрей Дугин: странно, сейчас без перевода в строку работает, до этого не работало. Понятия не имею почему )