Как удалить символ разделителя из значений?

Question

[Вова]

Есть большой файл CSV (100-1000 мб).
Разделитель: точка с запятой.
Открывать файл через libreoffice очень долго...
Пробовал через Emeditor, устанавливал разделитель: точка с запятой, но дальше если делаю замену, то оно удаляет все ; (в том числе и разделители).
Можно удалить точку с запятой только в самом тексте (т.к. точка с запятой тоже встречается много в каких ячейках), но чтобы структура таблицы осталась прежней?

Comments

[Lynn «Кофеман»]

Так всё таки разделить запятая или точка с запятой? А то у вас в опросе противоречие

[Вова]

Lynn «Кофеман», видно ошибся пока писал... Разделитель - точка с запятой...
И нужно удалить все точки с запятой, которые есть в самих "ячейках", но оставить сами разделители...

[Lynn «Кофеман»]

Взять готовый потоковый (stream) CSV-парсер и написать программку

[Ипатьев]

А почему вы думаете, что вам надо что-то удалить?

Answer 1

[d-stream]

Можно тупо экспортировать с разделителем "табуляция", потом поиском и заменой заменять потенциальный разделитель на что-то альтернативное и потом менять табуляцию на этот разделитель. Вероятность нахождения в поле символа табуляции - околонулевая.
Чуть проще - в utf8 менять табуляцию на какой-нибудь "редкий" символ (например в диапазоне U+F0000...U+FFFFF

Comments

[Lynn «Кофеман»]

Что бы экспортировать, нужно сначала прочитать и распарсить и у автора вопрос по сути именно в этом.

[d-stream]

Lynn «Кофеман», ну тут увы... фарш невозможно провернуть назад и в ;;;;;;;; не выявить где разделитель, а где данные.

p.s. на практике такое встречается часто при импорте прайсов в единицы-десятки миллионов строк, но на самом деле не смертельно если отфильтровывать проблемные строки для дальнейшего изучения глазами и правки руками... ибо их сотни на миллион.

[Lynn «Кофеман»]

d-stream, по «стандарту»¹ CSV если в тексте ячейки есть разделитель, то текст должен быть заключён в двойные кавычки, так что фарш обычно можно провернуть назад, при условии что в этом гигабайтном файле придерживались таких правил.

¹ если бы ещё он ещё был описан строже и всеми поддерживался…

[Вова]

Спасибо! Наверно это самый простой вариант который возможен...
Открыл в Emeditor большой файл CSV.
Поставил разделитель - вертикальная черта (|), а потом удалил все точки с запятой... и все вообще получилось шикарно)
Правда с табуляцией не очень получилось, возникли какие-то ошибки, а так вроде пока сработало)

[d-stream]

Lynn «Кофеман», увы - даже в названии формата comma separated и то косяк - ибо semicolon separated)
так же и с самим стандартом)

[Lynn «Кофеман»]

d-stream, ну semicolon это дикие европейцы придумали. У православных англосаксов была запятая :-D

[d-stream]

Lynn «Кофеман», а как они со своими дробными числами справлялись?)

[Алексей Уколов]

d-stream, у них дробные числа точкой разделяются.

Answer 2

[Владимир Коротенко]

Примерно так

$ cat tt.csv
one;two;three
one;"hi; there";three
"123 main st.; Apt 22";"New York; NY";90023
$
$ awk -F'"' -v OFS='' '{ for (i=2; i<=NF; i+=2) gsub(";", "", $i) } 1' tt.csv
one;two;three
one;hi there;three
123 main st. Apt 22;New York NY;90023
$

PS ребят что выше отписались. Вы что реально не слышали про awk sed grep ?

Comments

[Вова]

Здравствуйте!
Подскажите пожалуйста, как это применить? Я просто даже не знаю куда этот код использовать(

[Lynn «Кофеман»]

Красиво, только кавычки бы ещё оставить :)

[Владимир Коротенко]

Вова, В консоли линукса или в виндоус после установки awk

awk -F'"' -v OFS='' '{ for (i=2; i<=NF; i+=2) gsub(";", "", $i) } 1' tt.csv

[mayton2019]

"Испортил" пацана. Вот теперь - рассказывай ему все как регулярки работают. Что само по себе
тема глубокая и многоуровневая.

[Владимир Коротенко]

mayton2019, что не так виндусятник подсадил на линукс человека :)

[mayton2019]

Владимир Коротенко, любой виндузятник может сегодня устанавливать подмножество утилит Linux из менеджера пакетов chokolatey. Поэтому awk/gawk сегодня уже не та цель ради которой я-бы пересаживал кого-то.

Но смысл в этом вобщем-то есть. Там и MySQL легче поднимать :)

Вообще если глубоко погружаться в спецификацию CSV то в 1 ячейку можно вставить другой
CSV файл с сохранением семантики данных. Все легально и позволено. Но уже работать авк-ками
и греп-ами будет сложнее.

[Владимир Коротенко]

mayton2019, RFC и реальные задачи сильно различаются ;)

[mayton2019]

Владимир Коротенко, дай бог.

Answer 3

[mayton2019]

Люди разные в хабр приходят. И я сходу не могу понять уровень вашей подготовки. И от этого
сильно зависит то какие советы вам давать. Вроде-бы у вас в вопросах мелькает MYSQL, тоесть
вы по крайней мере вкурсе что это и SQL-запрос вас не испугает. Тут есть два варианта.

1) Попробуйте загрузить этот CSV файл в MYSQL и далее командами UPDATE поубирать лишние символы
в полях и потом обратно сохранить в CSV файл. Для этого есть коробочные технологии. Тут описано
https://dev.mysql.com/doc/refman/8.1/en/mysqlimpor...

2) Если за день-два не получится - то ищите программиста.

Answer 4

[Odissey Nemo]

Стало быть, в этом CSV есть поля, ограниченные, например, через двойной апостроф ("), как раз для случаев, когда разделитель попадается внутри поля. А разделители полей в вашем файле CSV - точка с запятой (;). И надо внутри полей удалить все (;) являющиеся частью данных, но не разделителями.
В принципе, задача достаточно рутинная и часто встречаемая.
Т.к. работаю иногда с CSV, то за годы накопился кое-какой инструментарий для этого. В частности, своя библиотека на Java. Иногда пользую и сторонние библиотеки, например Apache Common CSV . Все такие библиотеки, не только на Java, содержат функциональность считывания CSV по одной cтроке и записывания по одной строке в другой CSV.
Т.е. нет никаких трудностей написать программу на Java в 5-10 строк, которая по очереди считывает каждую строку CSV, из каждого поля удаляет (;) и записывает новую строку с теми же разделителями и ограничителями полей (;) и ("). В итоге получится файл, выглядящий как исходный, за исключением символа (;) в данных. Этот способ сработает быстрее всех прочих на порядки, а по памяти он кушает и на 3-4 порядка меньше.
Есть и специальные быстрые редакторы, заточенные именно на CSV. Пользовал такой. Скорее всего , он сможет открыть ваш файл, достаточно быстро выполнить операцию и сохранить результат. Хотя придётся слегка его поизучать.