Проблемы с кодировкой python 3. Как быть?

Question

[Дмитрий]

Частенько сталкиваюсь с ошибками кодировки и обычно удавалось их решать.
Прикладываю код и вывод.
Первой строчкой программы стоит: # -*- coding: utf-8 -*-
Перечитал штук 5 статей про кодировки что нашел на русском языке, каша в голове только увеличилась.
Не знаю как быть. Python3
Заранее спасибо!

Answer 1

[pcdesign]

PyCharm menu bar: File -> Settings... -> Editor -> File Encodings, then set: "IDE Encoding", "Project Encoding" and "Default encoding for properties files" ALL to UTF-8

Comments

[Дмитрий]

Ошибка остается.

[Andy_U]

Ошибка при вывод в консоль!

[Дмитрий]

pcdesign: Сделал так: history = str(history.encode().decode('utf-8', 'ignore')). Выдает следующую ошибку: AttributeError: 'bytes' object has no attribute 'encode'. Он почему-то в строку её не перевел.

[Andy_U]

Перевод байтов в строку: decode. encоde - это строку в байты.

[pcdesign]

Flex24: У меня просто была мысль, что консоль у вас не в utf-8. И поэтому шел по этому пути.
Попробуйте
set PYTHONIOENCODING=utf-8

[Andy_U]

pcdesign: Именно так и есть, см. ниже.

[pcdesign]

PyCharm menu bar: File -> Settings... -> Editor -> File Encodings, then set: "IDE Encoding", "Project Encoding" and "Default encoding for properties files" ALL to UTF-8

[Дмитрий]

pcdesign: Помогло, спасибо!

[Juris]

а мне не помогло, работает только вот так

with open("my_text_file.txt","r", encoding="utf8") as file:
    content = file.read()
    print(content)

pcdesign,

[Kvintas]

Спасибо, сработало!

Answer 2

[Andy_U]

1) history.decode('utf-8') это уже строка, второй раз не надо.

2) Ошибка у вас при выводе на консоль, но в Pycharm консоль по умолчанию юникодная. В Windows тоже. Т.е., проверьте на всякий значение os.environ['PYTHONIOENCODING']. Прямо перед печатью.

Comments

[Дмитрий]

1. Но если я не буду применять history.decode('utf-8'), то в выводе у меня будет следующее: "body":"\xd0\xb8 \xd1\x83 \xd1\x82\xd0\xb5\xd0\xb1\xd1\x8f"
2. print(os.environ['PYTHONIOENCODING']) выводит windows-1251. То есть мне нужно cp1251 поменять на utf-8, правильно я понимаю?

[Andy_U]

По первому пункту - я вижу что-то типа элемента словаря, который надо распарсить, но явно не через вызов str - читайте документацию. А вот по второму пункту, надо разбираться дальше. У вас, часом, эта переменная в Windows не установлена? Или в вызове на запуска скрипта? Сотрите нафиг.

[Andy_U]

Flex24: Дополнительно по п.1 - посмотрите еще на документацию по vk API - вы же не обычную страницу получаете...

[Дмитрий]

Andy_U: да, все отлично парсится через json. Но ошибка остается, поэтому я такой кусочек и набросал. А второй вопрос я не совсем понял. Есть ли переменная PYTHONIOENCODING в переменных средах? И как узнать, что в вызове на запуск скрипта? Извините, если туплю.

[Andy_U]

Flex24: В Windows в консоли запустите set | find "PYTHONENCODE" Или в control panel/system/advanced settings/Environment Varibles смотрите.

[Andy_U]

Flex24: Или в pycharm в настройках запуска - edit configuration

[Дмитрий]

Andy_U: такой переменной нет. Я изменил кодировку в настройках проекта, все получилось. Спасибо за помощь :)

[Andy_U]

Ух, я даже не знал, что так можно :)

Answer 3

[Игорь Алякимов]

Обязательно почитайте это https://docs.python.org/2/library/urllib.html#urll... , то что у вас написано порождает огромное кол-во ошибок.

У вас точно кодировка указана utf8? А то ошибка в кодировке cp1251

Comments

[Дмитрий]

Спасибо, прочту.
Да, первой строчкой указана utf-8. Сам удивлен что ошибка в cp1251. Может быть потому, что у меня винда?

[bromzh]

Так зачем ему дока по 2-му питону? В третьем очень много чего поменяли в urllib.

[Игорь Алякимов]

bromzh: я дал ссылку на конкретную функцию, которая не поменялась