Почему Grab не работает с русским текстом?

Question

[wolf-9830]

пытаюсь вывести содержимое тега title в консоль, вот этим кодом:

# -*- coding: cp1251 -*-
from grab import Grab
g = Grab(log_file = "out.html")
g.go("yandex.ru")
print g.xpath_text("//title")

Но выдаёт вот такую ошибку:

ERROR:root:Call to deprecated function xpath_text. Use grab.doc.select().text() instead.
Traceback (most recent call last):
  File "/home/good_inc/program.py", line 5, in <module>
    print g.xpath_text("//title")
UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-5: ordinal not in range(128)

Answer 1

[Mindless_kiev]

попробуйте print unicode(g.xpath_text("//title"))

Comments

[wolf-9830]

почему выводит такую ошибку grab.selector.selector.SelectorList object at 0xb57ca34c ?

Answer 2

[Ху Нью]

Попробуйте сменить кодировку на utf-8

Answer 3

[Игорь Лютоев]

Настройка кодировки страницы делается так:

g.setup(document_charset='cp1251')

Comments

[wolf-9830]

Теперь на такой код

# -*- coding: cp1251 -*-
from grab import Grab
g = Grab(log_file = "out.html")
g.go("yandex.ru")
g.setup(document_charset='cp1251')
print g.doc.select("//title")

пишет такую ошибку:

grab.selector.selector.SelectorList object at 0xb578c5ac
[Finished in 1.1s]

Из-за чего?

[Игорь Лютоев]

Попробуйте так:

# -*- coding: cp1251 -*-
from grab import Grab
g = Grab(log_file = "out.html")
g.setup(document_charset='cp1251')
g.go("yandex.ru")
print g.doc.select("//title").text()

[wolf-9830]

Игорь Лютоев: нет, не работает, вот что выдаёт:

Traceback (most recent call last):
  File "/home/good_inc/program.py", line 6, in <module>
    print g.doc.select("//title").text()
UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-11: ordinal not in range(128)
[Finished in 1.1s with exit code 1]
[shell_cmd: python -u "/home/good_inc/program.py"]
[dir: /home/good_inc]
[path: /usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games]

[Игорь Лютоев]

У яндекса вроде юникод, попробуйте его и указать:
g.setup(document_charset='utf-8')

Кодировку файла попробуйте сменить.

[wolf-9830]

Игорь Лютоев: на какую кодировку сменить в файле? У меня стоит utf-8 witch BOM, да и выполнил я g.setup(document_charset = 'utf-8') результат такой же

[Игорь Лютоев]

Попробуйте заголовок сменить:

# -*- coding: utf-8 -*-
from __future__ import unicode_literals