Как определить символ(ы) конца строки в csv?

Question

[3FANG]

есть csv файл с таким содержанием (данные вымышленные):

email;first_name;last_name;phone;address_street;city;birthday;;;;;
[e-mail];Николай;Кузнецов;[phone];NULL;NULL;1980-12-29;;;;;
[e-mail];Роман;Кузнецов;[phone];;1980-12-29;;;;;
[e-mail];Test;Test;[phone];NULL;NULL;2005-12-12;;;;;
[e-mail];Елена;Кузнецова;[phone];;;0089-12-13;;;;;

Как при чтении csv-файла с помощью python указать символы ';;;;;' как конец строки?

Я пробовал с помощью встроенной библиотеки csv:

import csv

with open('test.csv', encoding='utf-8') as file:
    reader = csv.reader(file, delimiter=';', lineterminator=';;;;;\n')
    for _ in range(5):
        print(next(reader))

Но оно не работает, и как я прочитал потом в документации:

Примечание. csv.reader() жестко запрограммирован на распознавание либо '\r', либо '\n' как конца строки и игнорирует lineterminator. Это поведение может измениться в будущем.

Хотя для записи в csv-файл можно использовать подобные символы (';;;;;') и все работает. Странно, мб я чего-то не понимаю...

Пробовал использовать pandas,но там есть ограничения на использование lineterminator в 1 символ:

lineterminator : str (length 1), optional
Character used to denote a line break. Only valid with C parser.

Может есть еще библиотеки для работы с csv или я что-то упускаю...
Спасибо за внимание

Comments

[Василий Банников]

Кто вообще придумал тако строку завершать?

[3FANG]

у самого возникал такой вопрос

[Steel_Balls]

Василий Банников, это не завершение строки.
Это пустые поля в CSV

[Василий Банников]

Steel_Balls, тоже так думаю

[Steel_Balls]

Василий Банников, я не "думаю".
Я ЗНАЮ!

Answer 1

[Сергей П]

Зачем?!
Это не конец строки, это просто пустые столбцы. Конец строки там по абзацу. Зачем вообще вам нужно указывать конец строки как-то особенно? Вы можете потом просто отбросить нужное число элементов из кортежа и всё.

Comments

[3FANG]

Как раз таки указывать конец строки, чтобы не проводить дополнительных манипуляций с данными.
И странно указывать 5 пустых столбцов в первой строке, т.е. их наименовании. А также в каждой последующей строке с данными также присутствует ';;;;;'.

[Сергей П]

3FANG, так происходит часто из-за того, что csv собирают не специальными библиотеками, а вручную и через одно место. Вы поосторожнее, в таких случаях частенько можно встретить некорректно экранированные разделители в строках, абзацы посреди строки, неверную смешанную кодировку и прочие цыганские фокусы.
Для стандартной библиотеки вы не сможете указать последовательность для отсечения хвостов каждой строки, да и никак вы на этом не сэкономите. Проще просто слайсом отрезать от каждого кортежа лишний хвост и всё. Другими способами что-то оптимизировать тут не получится.

Answer 2

[Steel_Balls]

Это пустые столбцы.
Конец строки - это \r\n , но тебе это не нужно, т.к. ты смотришь в неверном направлении.
Вот почитай как распарсить CSV корректно
https://stackoverflow.com/questions/18144431/regex...

Стандарт RFC 4180
Существует RFC 4180, предназначенный для стандартизации и упрощения обмена данными в формате CSV. Он предъявляет, в частности, такие требования:

окончание строк в стиле MS-DOS, символы (CR / LF).
необязательная строка заголовка.
каждая строка (запись) должна содержать одинаковое количество полей.
поле может быть заключено в двойные кавычки.
если поле содержит запятые, переносы строк, двойные кавычки, то это поле должно быть заключено в двойные кавычки. Если этого не сделать, то данные невозможно будет корректно обработать.
символ двойной кавычки в поле должен быть удвоен.

Comments

[3FANG]

\r\n -это конец строки в windows, у меня, т.е. в linux это \n, на macOS вообще \r.

У меня есть первая строка с обозначением колонок - email;first_name;last_name;phone;address_street;city;birthday;;;;;

Я посчитал это символами конца строки, т.к. странно указывать просто 5 пустых столбцов в наименовании колонок. Да и в каждой другой строке с данными также указаны эти символы (';;;;;').

[Steel_Balls]

3FANG,

Я посчитал это символами конца строки, т.к. странно указывать просто 5 пустых столбцов в наименовании колонок.

Рекомендую сначала ознакомиться с форматом CSV.
Там есть чёткое понятие разделителей полей. Обычно это , или ;
Вот отсюда и надо исходить, что парсер CSV парсит поля, в том числе и пустые. Это не возбраняется.
Да и где гарантия, что в каких-то строках вдруг не встретятся заполненные последние поля. Что тогда делать?
Вот тебе и баг в коде на ровном месте. Учите матчасть, форматы данных, чтобы писать код без ошибок.
А то понапридумывают сами себе "я посчитал...", "а я думал...". Не "думать" надо, а ЗНАТЬ!

[Steel_Balls]

3FANG,

т.к. странно указывать просто 5 пустых столбцов в наименовании колонок

Нет, это не странно.
У меня часто такое бывает для некоторых записей.

[Василий Банников]

3FANG, на макос уже миллион лет как \n.
\r было во времена до X

[Василий Банников]

Steel_Balls,

Рекомендую сначала ознакомиться с форматом CSV.
Там есть чёткое понятие разделителей полей. Обычно это , или ;

Нет никакого формата CSV, так как нет стандарта.
И нет соответственно и никакого чёткого понятия.

Есть только нечёткий RFC с кучей неопределённостей.