Как определить кодировку сайта на Python?

Question

[AlexRAV]

Нужно распарсить эту страничку: dailybloggz.com/tfy/andreeva_secrets

Как бы я не пытался, получается всякая лажа с кодировками, изначально, при выводе, получаем русский текст в следующем виде:

\x8d\xe5\xe4\xe0\xe2\xed\xee \xe2\xe8\xe4\xe5\xeb\xe0

Всякие онлайн декодеры заваливались, кроме одного https://2cyr.com/decode/?lang=ru
Он определил кодировку как MACCYRILLIC, делаю:
print(soup.prettify().encode('MACCYRILLIC'))
На выходе получаю то же самое что и на входе.
.encode('utf-8') - результат тот же самый.

Ну и собственно сам вопрос: Как определить кодировку? Или может быть я сам что-то неправильно делаю?

Весь код модуля:

import urllib.request
from bs4 import BeautifulSoup


url = 'http://dailybloggz.com/tfy/andreeva_secrets/'
req = urllib.request.Request(url, headers={'User-Agent': "Magic Browser"})
con = urllib.request.urlopen(req)
soup = BeautifulSoup(con, "html5lib")
print(soup.prettify().encode('utf-8'))

Answer 1

[asd111]

На сайте utf-8.
Только что проверил

from pprint import pprint

import requests

data = requests.get("http://dailybloggz.com/tfy/andreeva_secrets/")
pprint(data.content.decode('utf-8'))

Все норм выводит.
Может у вас консоль не в utf-8 ?
Кодировка указывается в meta charset в начале страницы.

Comments

[AlexRAV]

asd111 ну вот у меня была мысль про кодировку файла, но в PyCharm показывает что стоит utf8. Файл запускаю через встроенную в PyCharm консоль на Windows 7, используя виртуальную среду с питоном 3.5. А у консоли как узнать/изменить кодировку, не подскажете?

[asd111]

AlexRAV: FIle > Settings > Editor > File encodings > IDE encoding-Project encoding-default encoding for property files во всех трех выбрать utf-8

[AlexRAV]

asd111 спасибо большое, чуть позже отпишусь, получилось или нет)

[AlexRAV]

asd111 увы, но нет, у меня в настройках как раз во всех трёх стоит utf-8. Ладно, попробую ещё воспользоваться вашим кодом. Может вообще проблема заключаться в способе вывода? Вы пользуетесь pprint, а я использовал нативный print

[AlexRAV]

asd111 в общем какая-то проблема с консолью в PyCharm. Через командную строку windows выводит данные нормально

[asd111]

AlexRAV: Можно попробовать так: https://www.jetbrains.com/help/pycharm/2016.1/conf...

[AlexRAV]

asd111 все равно какая-то проблема с этим документом, даже полностью с вашим кодом получается ошибка. Encode ломается вот в этом месте документа joxi.ru/V2VdzV6ilEz8rv
В консоли появляется следующее joxi.ru/DrlbJkKtqb852P

[asd111]

AlexRAV: cp866 это кодировка консоли windows, насколько я помню, и ошибка связана с консолью windows на этот раз :) Попробуйте сохранить в текстовый файл примерно так:

import requests

data = requests.get("http://dailybloggz.com/tfy/andreeva_secrets/")

with open("my_file.html", "w", encoding="utf-8") as f:
    f.write(data.content.decode('utf-8'))

[AlexRAV]

asd111 даааа, спасибо большое, что помогли разобраться) Я так понимаю, чтобы увидеть приемлимый результат на винде нужно будет менять кодировку у командной строки? Но судя по отзывам тех кто это сделал, это сулит только большими проблемами) Я могу вас как-нибудь отблагодарить за помощь?)

Answer 2

[Andy_U]

Вот этот код работает в консоли Pycharm (определение кодировки - автоматически!):

# -*- coding: utf-8 -*-

import urllib.request

resource = urllib.request.urlopen('http://dailybloggz.com/tfy/andreeva_secrets')
charset = resource.headers.get_content_charset()
print(charset)
content =  resource.read().decode(charset)
print(content)