Как в Python исправить кодировку для кириллицы?

Question

[Shlyahten]

Вся кириллица превращается в подобное: \xd0\x9f\xd1\x80\xd0\xb8\xd0\xb2\xd0\xb5\xd1\x82
И в таком же виде записывается в файл.
Как можно это исправить?

from chatterbot import ChatBot

# Create a new instance of a ChatBot
bot = ChatBot("Alice",
    storage_adapter="chatterbot.adapters.storage.JsonDatabaseAdapter",
    logic_adapters=[
        "chatterbot.adapters.logic.MathematicalEvaluation",
        "chatterbot.adapters.logic.TimeLogicAdapter",
        "chatterbot.adapters.logic.ClosestMatchAdapter"
    ],
    input_adapter="chatterbot.adapters.input.TerminalAdapter",
    output_adapter="chatterbot.adapters.output.TerminalAdapter",
    database="database.db"
)

bot.train(
    "Привет",
    "Привет)",
    "Как дела?",
    "Отлично)",
    "А у тебя?",
    "Хорошо",
)

print("Type something to begin...")

# The following loop will execute each time the user enters input
while True:
    try:
        # We pass None to this method because the parameter
        # is not used by the TerminalAdapter
        bot_input = bot.get_response(None)

    # Press ctrl-c or ctrl-d on the keyboard to exit
    except (KeyboardInterrupt, EOFError, SystemExit):
        break

Comments

[Fixid]

Покажите код

[Shlyahten]

Прикрепил

Answer 1

[Владимир Куц]

Кодировку в заголовке укажите первой строкой
# -*- coding: utf-8 -*-
Какая версия python?
Если вторая - то сделайте импорт сразу после указания кодировки:
from __future__ import unicode_literals
Либо явно указывайте:

u"Привет",
    u"Привет)",
    u"Как дела?",

Comments

[Shlyahten]

Перестал ругаться, но в файле database.db всё равно те же крокозябры

[Владимир Куц]

Shlyahten: у вас он пишет в файл в формате json, и питон эскейпит ваши символы.

[Shlyahten]

Владимир: как быть в таком случае?

[Владимир Куц]

Shlyahten: использовать другой адаптер, либо попробовать переписать адаптер jsondb, дабы он мог писать в utf-8 без перекодирования escaped-последовательности

Answer 2

[sim3x]

In [1]: s = b'\xd0\x9f\xd1\x80\xd0\xb8\xd0\xb2\xd0\xb5\xd1\x82'

In [2]: s
Out[2]: b'\xd0\x9f\xd1\x80\xd0\xb8\xd0\xb2\xd0\xb5\xd1\x82'

In [3]: print(s)
b'\xd0\x9f\xd1\x80\xd0\xb8\xd0\xb2\xd0\xb5\xd1\x82'

In [4]: print(s.decode('utf8'))

у тебя проблема с пониманием кодировок
Перед тобой кириллица, в utf8 в безопасном ascii виде (ака latin1)

Тебе нужно найти настройки chatterbot и посмотреть как там настроить ensure_ascii=False