Как правильно указать кодировку в Питон3?

Question

[Ольга Владимирова]

Здравствуйте! Помогите, пожалуйста. Я еще совсем новичок в Питоне.
Нужно создать транслитератор с кириллицы на латиницу.
Однако я добавляю новые символы в алфавит, разные диакритические знаки. У меня возникает ошибка, связанная с кодировкой. Как ее исправить?

Traceback (most recent call last):
  File "C:\Users\Лариса\Desktop\Фото и документы\Математика и инфа\module.py", line 56, in <module>
    print(latinizator(line, legend), end='')
  File "C:\Users\Лариса\AppData\Local\Programs\Python\Python36-32\lib\encodings\cp1251.py", line 19, in encode
    return codecs.charmap_encode(input,self.errors,encoding_table)[0]
UnicodeEncodeError: 'charmap' codec can't encode character '\xed' in position 18: character maps to <undefined>

Вот мой код. Количество знаков сокращено, чтобы выглядело короче.

import os
import fileinput

def latinizator(letter, dic):
    for i, j in dic.items():
        letter = letter.replace(i, j)
    return letter

legend = {
    
'Ё':'Ö',
'Ж':'Ž',
'З':'Z',
'И':'I',
'Й':'Î',
'Ч':'Č',
'Ш':'Š',
'Щ':'Ś',
'Ъ':'V',
'Ы':'Y',
'Ь':'V',
'Э':'E',
'Ю':'Ü',
'Я':'Ä',

#Дополнительные знаки 
'ий':'í',
'ую':'ú',
'ой':'ó',
'ей':'é',
'ая':'á',
'ть':'ć',
}

with fileinput.FileInput('C:\\Users\\Лариса\\Desktop\\Фото и документы\\Математика и инфа\\alphabet.txt', inplace=True, backup='.bak') as f:
    for line in f:
        print(latinizator(line, legend), end='')

Comments

[sim3x]

Код на питоне требует отступов

Покажите код нормально

Спасибо

[Ольга Владимирова]

sim3x, да, спасибо

[sim3x]

Ольга Владимирова,

Дайте пример файла для ввода
И лучше вставить весь словарь замены. Возможно, под спойлером

ПС: в нике - николай, в тайтле ольга. Хмммм

[Ольга Владимирова]

sim3x, весь словарь замены еще нужно доработать.

ПС: все-таки Ольга.

Answer 1

[be52]

вроде все работает как задумано
оба файла в utf8 но файл с текстами можно в любой кодировке сделать и она указывается при открытии

import os 
import fileinput 

def latinizator(letter, dic): 
	for i, j in dic.items(): 
		letter = letter.replace(i, j) 
	return letter 

legend = { 

'Ё':'Ö', 
'Ж':'Ž', 
'З':'Z', 
'И':'I', 
'Й':'Î', 
'Ч':'Č', 
'Ш':'Š', 
'Щ':'Ś', 
'Ъ':'V', 
'Ы':'Y', 
'Ь':'V', 
'Э':'E', 
'Ю':'Ü', 
'Я':'Ä', 

#Дополнительные знаки 
'ий':'í', 
'ую':'ú', 
'ой':'ó', 
'ей':'é', 
'ая':'á', 
'ть':'ć', 
} 

with open('123.txt', 'r', encoding='utf8') as f: 
	for line in f: 
		print(latinizator(line, legend), end='')

123.txt
ЁЖ
паранойа

=========

ÖŽ
паранóа

Comments

[be52]

если encoding='utf8' не указывать то кодировка возьмется из локали, для русской венды это будет cp1251

[be52]

в самом скрипте еще надо указать кодировку скрипта, возможно что в русской винде по умолчанию тоже cp1251

в начале пара комментариев должна быть

#! /usr/bin/python3
# -*- python -*-
# -*- coding: utf-8 -*-

[Ольга Владимирова]

be52, добрый вечер. Создан документ 123.txt. Использую Ваш исправленный код. В документе написано слово ЁЖ, но возникает теперь такая ошибка.

Traceback (most recent call last):
  File "C:\Users\Лариса\Desktop\Фото и документы\Математика и инфа\abc.py", line 36, in <module>
    for line in f:
  File "C:\Users\Лариса\AppData\Local\Programs\Python\Python36-32\lib\codecs.py", line 321, in decode
    (result, consumed) = self._buffer_decode(data, self.errors, final)
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xa8 in position 0: invalid start byte

[be52]

Ольга Владимирова, 123.txt не в кодировке utf8 значит. если в простом блокноте виндоуса в русской венде был создан то кодировка cp1251
with open('123.txt', 'r', encoding='utf8') as f: надо поменять на
with open('123.txt', 'r', encoding='cp1251') as f:

[Ольга Владимирова]

be52, спасибо за помощь, все получилось!