Как можно readlin()-ом построчно читать текстовый файл, игнорирую управляющую последовательность \x?

Anton Kuzmichev, Andy_U,

У вас есть этот скрипт?

У меня нет этого скрипта. Мне просто вывалили кучу файлов на анализ.
Файлы должны быть в кодировке cp1251.
Вот ссылка на один из таких файлов: 1933.log
А вот короткий скриптик, который репродюсит данную проблему:

fin = open(r'C:\temp\1933.log')
#fin = open(r'C:\temp\1933.log', encoding='utf-8')
line = fin.readline()
while line:
    line = fin.readline()

Как можно readlin()-ом построчно читать текстовый файл, игнорирую управляющую последовательность \x?

Andy_U, Anton Kuzmichev,
возьмем текстовый файл mytest.txt, содержащим всего 1 байт – 0x98.

fin = open(r'C:\mytest.txt')
print(fin.readline())

выдает
File "C:\Python36\Lib\encodings\cp1251.py", line 23, in decode
return codecs.charmap_decode(input,self.errors,decoding_table)[0]
builtins.UnicodeDecodeError: 'charmap' codec can't decode byte 0x98 in position 0: character maps to ,
а

fin = open(r'C:\mytest.txt', encoding='utf-8')
print(fin.readline())

выдает
File "C:\Python36\Lib\codecs.py", line 321, in decode
builtins.UnicodeDecodeError: 'utf-8' codec can't decode byte 0x98 in position 0: invalid start byte.
При этом, понятно почему так. В первом случае ошибка из-за того, что байт 0x98 в cp1251 не определен, а во втором – из-за того, что в кодировке UTF-8 байту вида 10xxxxxx обязательно должен предшествовать один из байтов: 110xxxxx, 1110xxxx или 11110xxx, чего в нашем файлике нет.
Возвращаясь к первоначальной проблеме. Один скрипт (не мой) нагенерил мне кучу логов, которые мне нужно разобрать. Разобрать их построчно readline()-ом не получилось – Python не может прочитать файл ни в cp1251, ни в utf-8. Сначала думал, что проблема в подстроках типа \xc8\xca\x33\x98\xcd\x2\x0\x0\xd\xa, но, как оказалось, нет. Данные подстроки корректно читаются в обеих кодировках (создал файлик с данной строкой и проверил на чтение readline()-ом). Проблема, видимо, в чем-то ином...

Как можно readlin()-ом построчно читать текстовый файл, игнорирую управляющую последовательность \x?

Добавление encoding='UTF-8' не помогло – та же самая ошибка, но уже с другим байтом:
builtins.UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc8 in position 373: invalid continuation byte

Как можно readlin()-ом построчно читать текстовый файл, игнорирую управляющую последовательность \x?

Пошёл по варианту 2:
builtins.UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc8 in position 373: invalid continuation byte
Аналогичная ошибка, но уже с другим байтом.
Неужели не предусмотрена возможность простого игнорирования управляющих символов?

Как можно readlin()-ом построчно читать текстовый файл, игнорирую управляющую последовательность \x?

Это ломает мой скрипт в в других местах.
У меня далее везде используется readline(), он сможет работать как обычно в режиме чтения 'rb'?

Существуют ли такие кодировки, в которых каждый байт (каждый байт из 256 возможных) кодирует упорядоченную пару клавиатурных символов?

Я это прекрасно понимаю. Но есть ли такие кодировки, которые я описал?
ps. Я не говорил, что кодировка должна кодировать ВСЕ клавиши клавиатуры. Я говорил о кодировке, в которой каждый байт (каждый байт из 256 возможных) кодирует упорядоченную пару клавиатурных символов.

SELECT min and max price или реструктуризация?

Проблема получить минимальное и максимальное значение определенного товара

Что такое значение товара?

Почему в cmd команда findstr ничего не возвращает?

сергей кузьмин, в cp1200 (UTF-16 (Little endian)).
Я описал выше проблему.

Почему в cmd команда findstr ничего не возвращает?

iluwa, к слову о том, откуда взялся файлик temp.txt. Его создает следующий скрипт:

@echo on
chcp 866
wmic useraccount where (name='Melnikov-iv' and domain='chd-dir440') get sid >temp.txt

Тут проблема в том, что какую бы я кодировку не устанавливал (chcp 866/1251/65001), файлик temp.txt сохраняется в кодировке cp1200 (UTF-16 (Little endian)). Как сохранить файлик в нужной кодировке?

Почему в cmd команда findstr ничего не возвращает?

iluwa, вот содержимое temp.txt (в кодировке UTF-16 (Little endian), Code page: 1200):

SID
S-1-5-21-3926805462-2596896784-3590763454-1015

Почему справка по утилите netstat не перенаправляется в файл?

netstat /? > C:\netstat.txt 2>&1
работает. Спасибо.
Но почему вывод происходит в stderr, а не в stdout?

В чём причина ошибки "Значение не является значением объектного типа (Продукция)"?

Спасибо!!

В чём причина ошибки "Значение не является значением объектного типа (Продукция)"?

Константин Нагибович, заполнена.

Как при записи табличного документа в файл .xls явно задать текстовый формат ячеек?

а так Строка(Значение)

x = Строка(123);
После вывода x в файл ячейка с этим x будет иметь числовой формат. В этом и проблема.
В Таблице значений содержатся только строки, а при выводе в файл одни ячейки имеют текстовый формат, а другие – числовой.

Как при записи табличного документа в файл .xls явно задать текстовый формат ячеек?

Константин Нагибович, добавление пробела в конец числа, конечно, делает ячейку строкового формата, но дело в том, что теперь в ячейке содержится ненужный пробел. А он мешает.

Как при записи табличного документа в файл .xls явно задать текстовый формат ячеек?

Константин Нагибович, не помогает. Записанная строка "123" в ячейке Excel все равно имеет формат числовой.

Почему список списков не хочет сортироваться sort()?

aRegius, принято! Спасибо!

Почему список списков не хочет сортироваться sort()?

Pavel Denisov, это сложно, так как длина списка s равна примерно 150 000.
Я проверил в цикле все элементы s на типы: все первые элементы вложенных списков – типа str, вторые – str или int.

Почему список списков не хочет сортироваться sort()?

Или вот:

Почему список списков не хочет сортироваться sort()?

когда не указан элемент то сравниваются все элементы массива

Но следующий код рабочий: