Как игнорировать символы при чтении csv файла, которые не кодируются в uft-8?

Question

[Кай]

Добрый день!

У меня есть файл csv, который дозаписывается каждый день уже несколько месяцев, в котором есть столбец с текстом. Читаю его обычно:

with open ('groups.csv', 'r', encoding='utf-8') as f:
    df = pd.read_csv(f, sep=';', index_col = False, encoding='utf-8')

Файл именно дозаписывается и до этого момента всё было окей. Ни файл, ни скрипт не трогал, но сегодня чтение началось df = pd.read_csv срабатывать с ошибкой.

Ругается на символы, которые не может перекодировать (строки с такими символами уже давним числом).
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xd1 in position 161660: invalid continuation byte
В эксели они просматриваются так:


Через Notepad они видятся "xD0", "xD1"

Подскажите, пожалуйста, кто знающий, как такие символы в строке можно вычистить (не строки с ними, а сами эти символы) или как правильно считать csv в данном случае?
Сам файл в кодировке utf-8, читаю его тоже utf-8.

Просьба статьи не скидывать, всё уже облазил

Comments

[Viktor T2]

1. Не использовать модуль CSV
2. Читать файл построчно и разбирать строку самостоятельно
3. Перекодировать стоку методами encode/decode
В методах encode/decode можно установить обработку ошибок
my_string.decode(errors='ignore')

Схемы обработки ошибок

Схемы различаются между собой тем, что будет происходить при обнаружении в докодируемой строке неподдерживаемых кодировкой символов.

Имя Что происходит
strict Возбуждается UnicodeError (или наследника).
ignore Символы пропускаются.
replace Символы заменяются на U+FFFD (REPLACEMENT CHARACTER).
+py3.5backslashreplace Символы заменяются на последовательности, начинающиеся с обратной косой черты (слеша).
+py3.1surrogateescape Заменяет каждый байт на код суррогата (от U+DC80 до U+DCFF).
+py3.1surrogatepass Игнорирует в строке коды суррогатов. Используется со следующими кодеками: utf-8, а также начиная с +py3.4 utf-16, utf-32, utf-16-be, utf-16-le, utf-32-be, utf-32-le.

https://pythonz.net/references/named/str.decode/

Answer 1

[tigervvin]

Прочитайте документация про replace, этот метод заменяет символы как вам надо, например есть строка '98 356', перевести в int мы ее не сможем, так как есть пробел в строке

a = '98 356'
a = replace(' ', '')
print(int(a))
Ответ: 98356

Т.е. в этот метод мы передаем символ, который хотим заменить и символ на который меняем
replace('символ, который хотим заменить', 'символ на который меняем')

Answer 2

[Кай]

Пока что просто вычистил такие символы через BI
и всё решилось. Но в целом на будущее они могут появляться и хотелось бы их всё же избегать.