Кодировка Китайские символы при парсинге?

Question

[gowa66]

Пишу парсер для китайского интернет магазина.

from urllib.request import urlopen
from urllib.parse import urljoin
from lxml.html import fromstring

URL = 'http://list.suning.com/0-258003-0.html'
ITEM_PATH = '.clearfix .product .border-out .border-in .wrap .res-info .sell-point'

def parse_items():
    f = urlopen(URL)
    list_html = f.read().decode('utf-8')
    list_doc = fromstring(list_html)
    for elem in list_doc.cssselect(ITEM_PATH):
        a = elem.cssselect('a')[0]
        href = a.get('href')
        title = a.text
        em = elem.cssselect('em')[0]
        title2 = em.text
        print(href, title, title2)

def main():
    parse_items()

if __name__ == '__main__':
    main()

получаю ошибку

UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-2: ordinal not in range(128)

Кто пояснит за кодировку?

Answer 1

[Fixid]

Перейдите на python3, там все строки изначально Unicode. Если останетесь на python2, то нельзя использовать str, в инете есть альтернативные методы работы со строками

Попробуйте без decode
И покажите type объекта который вызывает ошибку

Comments

[JRazor]

Python 2.7.11, полет нормальный image.prntscr.com/image/0af3a4ca74c949b9b29fb0aaaa...

[JRazor]

И кстати, он и так использует Python 3.

[gowa66]

Тип class 'str'

product.suning.com/0000000000/146422477.html Traceback (most recent call last):
File "parser.py", line 28, in
main()
File "parser.py", line 25, in main
parse_items()
File "parser.py", line 21, in parse_items
print(href, title)
UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)

[JRazor]

Попробуйте поиграть с юникодом: unicode(title, 'unicode-escape'). На Python 2.7.11 все работает отлично prntscr.com/bg9p18

Answer 2

[chupasaurus]

Вы пытаетесь перекодировать Unicode в ASCII с заблаговременно прогнозируемым отказом, в 7 бит unicode не поместится.

Comments

[gowa66]

Пожалуйста подскажите возможные пути решения?

[chupasaurus]

gowa66: в ответе Fixid указал.

[gowa66]

chupasaurus: Не поверите но запускаю через 3-й Python