Как обработать ошибку UnicodeDecodeError и при этом продолжить чтение файла?

Question

[Aragorn]

Допустим у меня есть такой код

with open('1.txt', 'w') as file:
    for line in file:
        print(line)

В какой-то момент во второй строке (for line in file:) происходит ошибка UnicodeDecodeError. Мне надо перехватить её, напечатать что возникла ошибка и продолжить выполнение цикла. Но как это сделать? Если я просто впихну это в try/except

with open('1.txt', 'w') as file:
    try:
        for line in file:
            print(line)
    except UnicodeDecodeError:
        # ...

То естественно дальше "неправильной" строки дело так и не пойдёт.
Какие есть варианты красивого решения этой проблемы?

Comments

[Александр Нестеров]

Как вариант - использовать file.readlines() и поиграться с размещением блока try.
Не факт, что получиться (не пробовал), но попробовать стоит.

[Aragorn]

GNUBack, она там где я вижу, а не думаю

[Виктор Голованенко]

Почему в примерах кода вы читаете файл, но открываете его в режиме записи ('w')?

[Aragorn]

Виктор Голованенко, я убрал запись для простоты, но в оригинале она присутствует

Answer 1

[Виктор Голованенко]

Откройте файл в двоичном режиме, читайте его построчно в цикле и пытайтесь отдельно декодировать каждую байтовую строку в строку с помощью .decode(), в одночасье обрабатывая ошибку UnicodeDecodeError:

with open('1.txt', 'rb') as file:
    for n, binary_line in enumerate(file, start=1):
        try:
            line = binary_line.decode('utf-8')
        except UnicodeDecodeError:
            print(f'Ошибка декодирования строки {n}')
            continue
        ...

Comments

[Aragorn]

Да я знаю такой способ, но мне именно надо узнать что в такой-то строке - ошибка

[Виктор Голованенко]

Aragorn, откройте файл в двоичном режиме, читайте каждую байтовую строку и декодируйте её "вручную", в одночасье обрабатывая ошибку UnicodeDecodeError:

with open('1.txt', 'rb') as file:
    for n, binary_line in enumerate(file, start=1):
        try:
            line = binary_line.decode('utf-8')
        except UnicodeDecodeError:
            print(f'Ошибка декодирования строки {n}')
            continue
        ...

Обновил ответ.

Answer 2

[whoiam_frontend]

Нужно обработать ошибку внутри цикла, а не во внешнем блоке try/except. Также, нужно указать кодировку файла при открытии его в функции open(). Например, если файл написан в utf-8, то код будет следующим:

with open('1.txt', 'r', encoding='utf-8') as file:
    for line in file:
        try:
            print(line)
        except UnicodeDecodeError:
            print("Ошибка: не удалось расшифровать строку")
            continue

Здесь мы указали, что файл должен открываться на чтение ("r"), и что его кодировка utf-8. Внутри цикла мы перехватываем ошибку UnicodeDecodeError при попытке расшифровать строку и продолжаем выполнение цикла с помощью команды continue. Таким образом, если возникает ошибка, мы получаем сообщение об ошибке и продолжаем чтение файла.

Comments

[Aragorn]

Ошибка возникнет в строке for line in file: не добравшись до print(line)

[whoiam_frontend]

Aragorn, файл пишеться в кодировке utf8? Если нет, замените в кодировку в функции encoding

[Aragorn]

whoiam_frontend, файл в кодировке utf8, открывается он тоже в utf8, но в нём есть "битый" байт который не соответствует utf8

Answer 3

[Vindicar]

Альтернативное решение - использовать не обёртку for ... in file, а использовать цикл while и вызывать file.readline() вручную.