Как преобразовать строки из символов '\u0434\u0438…' в переменной в Питоне 2.7(Windows 7)?

Question

[malvin]

Переменная string содержит код , как показано ниже. Мне нужно преобразовать текст в переменной в читаемый русский текст, чтобы дальше можно было работать с текстом. Как это сделать?

Пример:

string = u'\u0434\u0438\u0435\u0442\u0430, \u0434\u0438\u0435\u0442\u0430 \u0434\u043b\u044f \u043f\u043e\u0445\u0443\u0434\u0435\u043d\u0438\u044f'

print string >>>>> диета, диета для похудения

Comments

[sim3x]

Откуда появляется строка, куда отправляется?

[malvin]

Scrapy тащит текст со страницы. Мне эти строки нужно далее обработать, почистить мусор и сохранить в переменные , а дальше вывод в файл.
В файл сохраняется все хорошо, но проблема в том, что я не могу работать с переменными, чтобы подготовить с сохранению нужные данные.

[sim3x]

malvin, если страница не повреждена, то скрапи сам отдаст все в юникоде - вам ничего с ней делать не нужно
Сразу делайте, то что вам нужно

Желательно перейти на питон3

[malvin]

Scrapy на винду только на 2.7.
Там что то с Twisted было. Может уже сделали 3.7

Ну так как работать, если в переменной содержится непонятно что.

In [9]: string
Out[9]: u'\u0434\u0438\u0435\u0442\u0430, \u0434\u0438\u0435\u0442\u0430 \u0434\u043b\u044f \u043f\
u043e\u0445\u0443\u0434\u0435\u043d\u0438\u044f'

In [10]: print(string)
диета, диета для похудения

In [11]: string.split('д')
---------------------------------------------------------------------------
UnicodeDecodeError                        Traceback (most recent call last)
<ipython-input-11-5d3f329c4a4e> in <module>()
----> 1 string.split('д')

UnicodeDecodeError: 'ascii' codec can't decode byte 0xd0 in position 0: ordinal not in range(128)

[sim3x]

malvin, когда отвечаете кому-то, нажимайте линк ответить - так люди получат оповещение

В переменной содержится юникод
Для того чтоб он вам показался в читаемом для вас виде используйте print

Заводите виртуалку, в ней нормальную ОС, вагрант и работайте

[malvin]

sim3x, Тоесть в данном виде с самой переменной я работать не смогу?

[sim3x]

malvin, переменная в юникоде
Юникод общепринятый тип строки в питоне

Поясните ваш вопрос

[malvin]

sim3x, да вот же он выше. в предыдущей ошибке.

Допустим нужно разбить строку командой split(). Как мне это сделать в таком варианте?

In [11]: string.split('д')
---------------------------------------------------------------------------
UnicodeDecodeError                        Traceback (most recent call last)
<ipython-input-11-5d3f329c4a4e> in <module>()
----> 1 string.split('д')

UnicodeDecodeError: 'ascii' codec can't decode byte 0xd0 in position 0: ordinal not in range(128)

[sim3x]

malvin, вот и я говорю - переходите на 3, а пока на 2 прочитайте, что к каждой строке вам нужно приписать u

string.split(u'д')

[malvin]

sim3x, благодарю.

Answer 1

[blayloock012018]

Сейчас можно подправить так

a = u'1a'
a = a.decode('utf-8').encode('cp1251') 
print a

a = u'1\u0430'
a = a.encode('UTF-8').decode('UTF-8').encode('cp1251')
print a

#~ Не нужно путать юникод и UTF-8 !!! utf-8, как и cp1251 с точки зрения питона2.* - массив байт.

Подробнее тут py-my.ru/post/4bfb3c6a1d41c846bc00009b

На будущее, пригодится определение кодировки. Например, если почтовый ящик читать питоном. В навалку всевозможные кодировки. Может пригодиться функция определения уодировки

msg=u'1\u0430'

if len(str(msg))!==0
    if isinstance(msg, unicode):
        #~ print type(msg)
        #~ print encodings(get_codepage(msg))
        print msg.encode('UTF-8').decode('UTF-8').encode('cp1251')
    else:
        if get_codepage(msg)=='UTF-8':
            print msg.decode('UTF-8').encode('cp1251')
        else:
            print msg




encodings = {
    'UTF-8':      'utf-8',
    'CP1251':     'windows-1251',
    'KOI8-R':     'koi8-r',
    'IBM866':     'ibm866',
    'ISO-8859-5': 'iso-8859-5',
    'MAC':        'mac',
}

def get_codepage(str = None):
    uppercase = 1
    lowercase = 3
    utfupper = 5
    utflower = 7
    codepages = {}
    for enc in encodings.keys():
        codepages[enc] = 0
    if str is not None and len(str) > 0:
        last_simb = 0
        for simb in str:
            simb_ord = ord(simb)

            """non-russian characters"""
            if simb_ord < 128 or simb_ord > 256:
                continue

            """UTF-8"""
            if last_simb == 208 and (143 < simb_ord < 176 or simb_ord == 129):
                codepages['UTF-8'] += (utfupper * 2)
            if (last_simb == 208 and (simb_ord == 145 or 175 < simb_ord < 192)) \
                or (last_simb == 209 and (127 < simb_ord < 144)):
                codepages['UTF-8'] += (utflower * 2)

            """CP1251"""
            if 223 < simb_ord < 256 or simb_ord == 184:
                codepages['CP1251'] += lowercase
            if 191 < simb_ord < 224 or simb_ord == 168:
                codepages['CP1251'] += uppercase

            """KOI8-R"""
            if 191 < simb_ord < 224 or simb_ord == 163:
                codepages['KOI8-R'] += lowercase
            if 222 < simb_ord < 256 or simb_ord == 179:
                codepages['KOI8-R'] += uppercase

            """IBM866"""
            if 159 < simb_ord < 176 or 223 < simb_ord < 241:
                codepages['IBM866'] += lowercase
            if 127 < simb_ord < 160 or simb_ord == 241:
                codepages['IBM866'] += uppercase

            """ISO-8859-5"""
            if 207 < simb_ord < 240 or simb_ord == 161:
                codepages['ISO-8859-5'] += lowercase
            if 175 < simb_ord < 208 or simb_ord == 241:
                codepages['ISO-8859-5'] += uppercase

            """MAC"""
            if 221 < simb_ord < 255:
                codepages['MAC'] += lowercase
            if 127 < simb_ord < 160:
                codepages['MAC'] += uppercase

            last_simb = simb_ord

        idx = ''
        max = 0
        for item in codepages:
            if codepages[item] > max:
                max = codepages[item]
                idx = item
return idx

Comments

[sim3x]

про 1251 пора уже забыть

[malvin]

Сделал как в вашем примере. Переменная все еще не содержит русский текст с которым можно работать. К тому же type() определяет кодировку как юникод.

In [3]: string
Out[3]: u'\u0434\u0438\u0435\u0442\u0430, \u0434\u0438\u0435\u0442\u0430 \u0434\u043b\u044f \u043f\
u043e\u0445\u0443\u0434\u0435\u043d\u0438\u044f'

In [4]: a=string.encode('UTF-8').decode('UTF-8').encode('cp1251')

In [5]: a
Out[5]: '\xe4\xe8\xe5\xf2\xe0, \xe4\xe8\xe5\xf2\xe0 \xe4\xeb\xff \xef\xee\xf5\xf3\xe4\xe5\xed\xe8\x
ff'

In [6]: type(string)
Out[6]: unicode

[blayloock012018]

sim3x, Да вот на кассовых аппаратах Windows.CE и 1251 применяется.

А вопще, эмоционально ярче

про 1251 пора уже забыть

будет звучать так Да пора бы уже забыть или предложить альтернативу, например Может, пора уже забыть про 1251 и перестать применять ее и ... перейти на ...

Я только за решение вопросов вместо "да вот так ну вот таки"))

[blayloock012018]

malvin, каков вариант отображения текста? Ответ от 1 до 4 (фото)



У меня отображается таким образом

u'\u0434\u0438\u0435\u0442\u0430, \u0434\u0438\u0435\u0442\u0430 \u0434\u043b\u044f \u043f\
u043e\u0445\u0443\u0434\u0435\u043d\u0438\u044f'.encode('UTF-8').decode('UTF-8').encode('cp1251')

Внимательно прочитайте, проверьте , как и что написано py-my.ru/post/4bfb3c6a1d41c846bc00009b

После этого более универсальное решение

import locale
output_encoding = locale.getdefaultlocale()
u'\u0434\u0438\u0435\u0442\u0430, \u0434\u0438\u0435\u0442\u0430 \u0434\u043b\u044f \u043f\
u043e\u0445\u0443\u0434\u0435\u043d\u0438\u044f'.encode('UTF-8').decode('UTF-8').encode('output_encoding')

Вы гдет в паре тройке шагов от успешного результата) Хорош дуться) "У меня не работает".. Ставь плюс или эту галочку зеленую, если я был прав)

[malvin]

blayloock012018 Плюсик за старания, без сомнения, заслужил) Но вот принять не могу, так как вопрос не решен. Уж который раз возвращаюсь к этой фигне, зарекаюсь не работать с кирилицей, а периодически приходится. И разобраться не могу.