Не могу понять, что не так с кодировками или что вообще происходит в python?

Question

[Иван василичь]

vk bot возвращает результат {body: somedata }
если вывести в консоль результат переменной body выдает вот такое

u'\u043f\u0440\u0438\u0432\u0435\u0442'

как это отконвертировать в читабельный вид??

я подумал, что chatterbot не воспринимает киррилицу, но там поддержка есть ее как я понял.
пытался вот так

#if isinstance(msg, unicode):
        #    message = msg.encode('utf8')
        #message = u''.join(msg.encode('ascii', 'ignore').decode('ascii'))
        #pprint(message)

и вот так и все равно падает
msg.encode('utf8').decode('utf8')

я новичек в python и немогу понять че тут вообще происходит уже голову сломал

Вообще этот результат должен принят chatterbot и ответить но либо он падает либо vk bot падает с английскими словами такого нету. все отвечает и "учиться"

Answer 1

[Александр]

Все зависит от кодировки в консоли. В MS Windows - это CP866
Но я подозреваю что у вас это вызванно особенностью сериализации объектов:

Comments

[Иван василичь]

у меня вот такой результат. меня начинает бесить этот питон, если често. что я делаю не так

pprint(msg)
        pprint(msg.encode('CP866'))

результат

u'\u043f\u0440\u0438\u0432\u0435\u0442'
'\xaf\xe0\xa8\xa2\xa5\xe2'

[Александр]

а какая консоль(система, программа)? А то питон может даже на андроиде работать.

Скорее всего кодировка консоли ASCII - которая не имее кодов русских букв, поэтому питон приводит строки к такому виду.

Лучшим решением будет использовать какой нибудь интерфейс для вывода, хотя бы квадратный Tk.

[Иван василичь]

Александр, вообще этот результат уходит в chatterbot и от него приходит ответ бота, а vk_api это точно контактирует с vk и возвращает результат выше.

все махинации производил в программе PyCharm CE

[Александр]

вобщем я понял что у вас где то вместо str(msg) уходит repr(msg) - где то ошибка в связывании модулей, надо проверять весь код. Возможно не заданна основная кодировка для вывода строк. Проще на другой стороне декодировать наверно чем искать где собака зарылась.

[Иван василичь]

Александр,

обьясните мне как новичку, а то я уже себе весь мозг сломал че с этим "тупорылым" питоном не так

вот весь код взято часть с хабра. я как новичек вообще, не понимаю, что не так и почему вк сервер не может вернуть нормальное стринговое значение, почему он возвращает какую то белеберду которую не как не отковертировать

весь проект.

Main.py

# -*- coding: utf-8 -*-
import time
import vk_api  # https://github.com/python273/vk_api/wiki
from Talker import Talker
import goslate
from pprint import pprint

vk = vk_api.VkApi(login='[phone]', password='ksahUAu87Ays')

vk.auth()
values = {'out': 0, 'count': 100, 'time_offset': 60}

def write_msg(user_id, s):
    vk.method('messages.send', {'user_id': user_id, 'message': s})

def read_msg():
    response = vk.method('messages.get', values)
    return response
talker = Talker()

while True:
    response = read_msg()
    answer = ''
    if response['items']:
        msg = response['items'][0]['body']
        message = msg.encode('utf8')
        pprint(message)
        answer = talker.answerUser(message)
        if answer == "":
            answer = "OK"

        values['last_message_id'] = response['items'][0]['id']
        for item in response['items']:
            write_msg(item[u'user_id'], answer)
    response['items'] = ""
    time.sleep(1)

Talker.py

# -*- coding: utf-8 -*-
from __future__ import unicode_literals
from chatterbot import ChatBot
from chatterbot.trainers import ListTrainer
import goslate

class Talker(object):
    chatbot = ChatBot("max",
                      logic_adapters=[
                          'chatterbot.logic.MathematicalEvaluation'
                      ],
                      storage_adapter='chatterbot.storage.SQLStorageAdapter',
                      database='./database.sqlite3')

    def __init__(self):
        conversation = [
            "Hello",
            "Hi there!",
            "How are you doing?",
            "I'm doing great.",
            "That is good to hear",
            "Thank you.",
            "You're welcome.",
            "what you want?",
            "Lol",
        ]
        self.chatbot.set_trainer(ListTrainer)
        self.chatbot.train(conversation)
    def answerUser(self, question):
        return self.chatbot.get_response(question)

Answer 2

[Иван василичь]

а как отключить сериализацию данных ? я новичек в питоне как я понимаю сериализация это куча переменных скидывается в одну переменную???