Использование requests и кодировка полученной страницы — как исправить проблемы с русскими символами?

Question

[wanomgn]

Уважаемые друзья.
Простейшая программа на Python 3.3.5 под Win7 x64
Если парсить lenta.ru то все работает как нужно: анкоры показываются русскими буквами.
Но вот если запустить тоже самое на da.ru то все русские анкоры получаются кракозяблами.
Подскажите, как нужно ее исправить, чтобы во всех случаях русские символы были нормальными?

import requests
from lxml import html

r = requests.get('http://lenta.ru')
#r = requests.get('http://da.ru')
docHtml = r.text
parsed_body = html.fromstring(docHtml)
for y in parsed_body.xpath("//a"):
    url=y.get("href")
    anchor=y.text
    print(url,anchor)

Comments

[Andrey K]

Как выглядят кракозябры?

Answer 1

[Tark]

Если сделать

r = requests.get('http://da.ru')
print r.encoding

то окажется, что кодировка там брутальная ISO-8859-1

for y in parsed_body.xpath("//a"):
    url = y.get("href")
    anchor = y.text
    if anchor:
        print url, anchor.encode(r.encoding)

Так всё нормально. Правда, у меня Python 2.7.3

Answer 2

[theromis]

у мня та же самая проблема, помогло насильно выставить кодировку ответа `request.get`

```
r = requests.get(link, timeout=60, verify=False, headers=headers)
r.encoding = 'utf-8'
print r.text # стал чистым
```

Answer 3

[q1t]

может проблема с юникодом?

encoded = str.encode(original, 'utf-8')
print(encoded)

Answer 4

[wanomgn]

кракозяблы выглядят так: пÑоÑоÑипиÑование ÑайÑа
если сделать encoded = str.encode(original, 'utf-8') то получаем:
b'\xc3\x90\xc2\xbf\xc3\x91\xc2\x80\xc3\x90\xc2\xbe\xc3\x91\xc2\x82\xc3\x90\xc2\xbe\xc3\x91\xc2\x82\xc3\x90\xc2\xb8\xc3\x90\xc2\xbf\xc3\x90\xc2\xb8\xc3\x91\xc2\x80\xc3\x90\xc2\xbe\xc3\x90\xc2\xb2\xc3\x90\xc2\xb0\xc3\x90\xc2\xbd\xc3\x90\xc2\xb8\xc3\x90\xc2\xb5 \xc3\x91\xc2\x81\xc3\x90\xc2\xb0\xc3\x90\xc2\xb9\xc3\x91\xc2\x82\xc3\x90\xc2\xb0'

Comments

[q1t]

похоже на cp1251
str.decode('cp1251').encode('utf8')

[wanomgn]

Как бы я не вставлял эту строчку - всегда вываливается ошибка
str.decode('cp1251').encode('utf8')
AttributeError: type object 'str' has no attribute 'decode'
Пожалуйста подскажите как ее нужно правильно вписать:
import requests
from lxml import html

#r = requests.get('lenta.ru')
r = requests.get('da.ru')
docHtml = r.text
parsed_body = html.fromstring(docHtml)
for y in parsed_body.xpath("//a"):
url=y.get("href")
anchor=y.text
print(anchor) #показываем кракозяблы
encoded = str.encode(anchor, 'utf-8') # перекодируем
print(encoded) #показываем более другие кракозяблы

[q1t]

anchor = y.text.decode('utf-8')
после print(anchor) вроде ничего не нужно уже. а вобще python 3?

[q1t]

python не знаю, может тут и ошибка, смысл в том что текст у вас в UTF-8 (type Unicode в пайтоне вроде) и вам нужно привести его к типу str

[wanomgn]

сделал: anchor = y.text.decode('utf-8')
получил:
anchor = y.text.decode('utf-8')
AttributeError: 'str' object has no attribute 'decode'

>Простейшая программа на Python 3.3.5 под Win7 x64

[q1t]

Либо считать текст как поток байтов, а к ним уже применить подходящую кодировку

[q1t]

получилось раскодировать нужную строку таким способом py-playground.appspot.com/p/zkJjJm8CiW

[wanomgn]

В третьем питоне это вызывает все туже ошибку
ru = strbytes.decode('utf-8')
AttributeError: 'str' object has no attribute 'decode'

[weranda]

wanomgn: Решили проблему в третьей версии?

[wanomgn]

weranda: поставил вмварю, в ней убунту, в убунте запустил этот скрипт - забыл про эти проблемы с кодировками