Как можно readlin()-ом построчно читать текстовый файл, игнорирую управляющую последовательность \x?

Question

[Иван Мельников]

Как в Python 3.7 считывать текстовый файл построчно без интерпретации некоторых/всех управляющих последовательностей символов?
Читаю файл построчно так:

fin = open(...)
for i in range(100):
    mystr = fin.readline()
    ...

Но когда доходит до строки, в которой содержится "...\x98...", то программа выпадает с ошибкой "байт 0x98 не может быть декодирован, так как данный байт не определен в кодировке cp1251". Возникает вопрос, как при чтении можно игнорировать управляющую последовательность \x?

Comments

[Anton Kuzmichev]

Параметры open(...)? Что если добавить encoding='UTF-8'?

[Иван Мельников]

Добавление encoding='UTF-8' не помогло – та же самая ошибка, но уже с другим байтом:
builtins.UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc8 in position 373: invalid continuation byte

[Andy_U]

Мне кажется, что если вы не опубликуете файл, вам тут не помогут.

[Anton Kuzmichev]

Andy_U, тут народ иногда удивляет, словно в ядерном центре Арзамаса-16 работают, и за публикацию кода и/или исходных данных - расстрел на месте будет.

[Иван Мельников]

Andy_U, Anton Kuzmichev,
возьмем текстовый файл mytest.txt, содержащим всего 1 байт – 0x98.

fin = open(r'C:\mytest.txt')
print(fin.readline())

выдает
File "C:\Python36\Lib\encodings\cp1251.py", line 23, in decode
return codecs.charmap_decode(input,self.errors,decoding_table)[0]
builtins.UnicodeDecodeError: 'charmap' codec can't decode byte 0x98 in position 0: character maps to ,
а

fin = open(r'C:\mytest.txt', encoding='utf-8')
print(fin.readline())

выдает
File "C:\Python36\Lib\codecs.py", line 321, in decode
builtins.UnicodeDecodeError: 'utf-8' codec can't decode byte 0x98 in position 0: invalid start byte.
При этом, понятно почему так. В первом случае ошибка из-за того, что байт 0x98 в cp1251 не определен, а во втором – из-за того, что в кодировке UTF-8 байту вида 10xxxxxx обязательно должен предшествовать один из байтов: 110xxxxx, 1110xxxx или 11110xxx, чего в нашем файлике нет.
Возвращаясь к первоначальной проблеме. Один скрипт (не мой) нагенерил мне кучу логов, которые мне нужно разобрать. Разобрать их построчно readline()-ом не получилось – Python не может прочитать файл ни в cp1251, ни в utf-8. Сначала думал, что проблема в подстроках типа \xc8\xca\x33\x98\xcd\x2\x0\x0\xd\xa, но, как оказалось, нет. Данные подстроки корректно читаются в обеих кодировках (создал файлик с данной строкой и проверил на чтение readline()-ом). Проблема, видимо, в чем-то ином...

[Anton Kuzmichev]

Иван Мельников, зачем это всё?
Не надо брать файл, содержащий всего 1 байт, хотя бы потому, что все utf-кодировки - многобайтные.

Один скрипт (не мой) нагенерил мне кучу логов, которые мне нужно разобрать.

У вас есть этот скрипт? (мне он не нужен, вас не расстреляют, не волнуйтесь)
Как он открывает лог-файл, в какой кодировке, как пишет в него? Этот байт входит в состав символа unicode, или является чем-то вроде разделителя в строке - неким изобретением сумрачного гения, писавшего этот скрипт?

Вы, к конце концов, можете 2-3 строки из лога предоставить, чтобы в эти строки входила та самая, на которой вам читающий скрипт валится?

Проблема, видимо, в чем-то ином...

Ну, файл, например, мог побиться, может hdd сдыхает, почему нет.
Ну или это магия от Гвидо.. конечно.. что же ещё....,...,.

[Andy_U]

Иван Мельников, С таким входным файлом, например, проходит вот такой вариант (cp866 можно заменить на oem или на koi8_r):

if __name__ == '__main__':

    with open('mytest.txt', encoding='cp866') as f:
        s = f.readline()

    print(s)

который печатает большую русскую бкуву "Ш"... И таких кодировок миллион. Но скорее всего - у вас не чисто текстовый файл. Например, бинарный с текстовыми вставками.

Если у вас есть тот скрипт (на каком хоть языке?), который эти логи генерирует, упростите его, оставив одну генерацию похожих протоколов (таких, которых ваш код не может прочитать) и его опубликуйте, если не увидите сами в процессе, где проблема.

[Иван Мельников]

Anton Kuzmichev, Andy_U,

У вас есть этот скрипт?

У меня нет этого скрипта. Мне просто вывалили кучу файлов на анализ.
Файлы должны быть в кодировке cp1251.
Вот ссылка на один из таких файлов: 1933.log
А вот короткий скриптик, который репродюсит данную проблему:

fin = open(r'C:\temp\1933.log')
#fin = open(r'C:\temp\1933.log', encoding='utf-8')
line = fin.readline()
while line:
    line = fin.readline()

[Andy_U]

Иван Мельников, Да, файл "кривой". Где-то перевод строки CR/LF (\x0d\x0a), где-то LF (\x0a).

Откуда в модемном логе русские буквы (ИКЛМН), не понимаю. И после этой кириллицы обычно идут явно непечатные символы \x02\x00\x00...

А иногда вместо этих ИКЛМН встречается вот такая "hernya" (чтобы это увидеть, нужно добавить в open параметр errors='backslashreplace'. См. другие варианты тут):

358606053364644>2019-06-05 21:42:10 +0500 ИК3\x98Н  
358606053364644>2019-06-05 21:42:10 +0500 hernya                            <--- :D
358606053364644>2019-06-05 21:42:10 +0500 ИК3\x98Н  
358606053364644>2019-06-05 21:42:10 +0500 \xc8\xca\x33\x98\xcd\x2\x0\x0\xd\xa
358606053364644>2019-06-05 21:42:10 +0500 ready
358606053364644>2019-06-05 21:43:11 +0500 ИКЛМН

В общем, похоже, что "непечатная" концовка строки может быть бинарной, и при этом она не может быть игнорирована, потому-что перед ней - IMEI и обычный time-stamp...

Т.е. таки придется читать файл, как бинарный и парсить ручками. Оно не сложно, потому-что каждаяя строка начинается одиноково. И добывайте тот скрипт, который "это" выводит. Без него будет сложно.

Answer 1

[Andy_U]

Вот тот вариант, который не ломается.

if __name__ == '__main__':

    with open('1933.log', errors='backslashreplace') as f:
        for s in f:
            print('"'+s[:-1]+'"')

Answer 2

[Александр]

может надо открыть в бинарном режиме файл?
... = open( ... , "rb")

Comments

[Иван Мельников]

Это ломает мой скрипт в в других местах.
У меня далее везде используется readline(), он сможет работать как обычно в режиме чтения 'rb'?

Answer 3

[bbkmzzzz]

вариант 1: открываете в бинарном режиме, читаете построчно, удаляете ненужные символы, декодируете в нужной кодировке
вариант 2: открываете файл с указание кодировки, скорее всего utf-8
fin = open(..., encoding='utf-8')
\x - управляющий символ для определения байта в шестнадцатеричном виде

Comments

[Иван Мельников]

Пошёл по варианту 2:
builtins.UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc8 in position 373: invalid continuation byte
Аналогичная ошибка, но уже с другим байтом.
Неужели не предусмотрена возможность простого игнорирования управляющих символов?

Answer 4

[Anton Kuzmichev]

Ваш случай - смешанный тип файла, текстово-бинарный. Его надо читать как бинарный, обрабатывать данные можно тоже в бинарном режиме. Если нужно, на завершающих этапах обработки можно необходимые данные попытаться преобразовать в текст (в блоке try-catch).

import re

reg = re.compile(rb'([0-9]*)\>([0-9]{4}\-[0-9]{2}\-[0-9]{2}\ [0-9]{2}\:[0-9]{2}\:[0-9]{2}\ \+[0-9]{4})\ (.*)')
with open('1933.log', 'rb') as f:
    for s in f:
        s = s.strip(b'\r\n')
        l = re.split(reg, s)
        chunks = [e for e in l if e]  # не силён в регулярках, в массиве почему-то оказываются пустые строки
        if len(chunks) != 3:
            continue
        code, datetime, payload = chunks
        print(code, datetime, payload)