Как убрать переносы строки в csv?

Question

[Сергей Алпеев]

Доброго времени суток , занимаюсь портированием объектов недвижимости с системы Битрикс на modx , переезд почти состоялся , одна проблема , не получается избавится от переносов строки впри экспорте в битриксе , а при импорте в таком случае говорит что не совпадает количество полей , заранее спасибо

Comments

[Дмитрий Спирин]

Пример текста файла?..

[Сергей Алпеев]

Дмитрий Спирин: IE_NAME;IE_ID;IE_PREVIEW_PICTURE;IE_PREVIEW_TEXT;IE_DETAIL_PICTURE;IE_DETAIL_TEXT;IP_PROP176;IP_PROP179;IP_PROP187;IP_PROP219;IP_PROP192;IP_PROP268
Аренда офиса в бизнес-центре Премиум класса, м. Маяковская.;10003;;;/upload/iblock/08c/08cdea5387803f8a0dc9a9fed15cce7b.jpg;"В бизнес-центре премиум класса созданы все условия для ведения успешного бизнеса:Центральный деловой район: отличная видимость и удобный доступ к основным магистралям города.
В 5 минутах пешком от станции метро ""Маяковская"" и ""Белорусская"".
Центральная система вентиляции и кондиционирования воздуха.
Оптико-волоконная связь МТС (Комстар) и Билайн Бизнес (Совинтел).
Круглосуточная охрана.
Профессиональное управление зданием.
Охраняемая многоуровневая подземная парковка с авто-мойкой.
Развитая инфраструктура: ресторан корпоративного питания, кафе, спортивный клуб полного цикла с бассейном.
Все правоустанавливающие документы получены.
Актуальные помещения в аренду:
1 этаж 708 кв.м., отдельный вход с первой линии домов, под отделку.
2 этаж 595 кв.м., готовое к въезду.
5 этаж 440 и 469 кв.м., готовое к въезду.
8 этаж 2569 кв.м., готовое к въезду.
Ставка: 1400$ за кв.м.в год(все вкл.)
Без комиссии.";1400;440;2082;2159;2459;Б.Грузинская ул. д.71

Answer 1

[Sergey]

смотря какие переносы
Можно так, например:

tr -d '\r'
или
tr -d '\n'

Указанный "пример" не дает информации об этом, потому как прошел через парсер тостера. Лучше ссылку на файл.

Comments

[Сергей Алпеев]

kvartirama.test.lmrk.ru/test_file.csv

[Sergey]

Сергей Алпеев: оке, вижу, что там сейчас LF.
Если действительно надо УДАЛИТЬ переносы, то вот:
cat test_file.csv | tr -d '\n' >> test_file1.csv

[Сергей Алпеев]

Ivan Petrovitch: это регулярка которую надо в sublime text задействовать ?

[Сергей Алпеев]

Ivan Petrovitch: не могли бы подробнее описать что мне нужно сделать ? спасибо

[Sergey]

Сергей Алпеев: нет, sublime вроде как не умеет это делать. Я написал команду на linux, которую надо выполнить. Она удалит LF-ы из файла. В вашем случае это превратит многострочный файл в одну строку.

[Сергей Алпеев]

Ivan Petrovitch: у меня mac os , по идее терминал у них один и тот же ?

[Sergey]

Сергей Алпеев: да, tr есть на os x.

[Сергей Алпеев]

Ivan Petrovitch: сделал в терминале по примеру , создал новый файл , но в нем осталась только одна , первая строка

[Sergey]

Сергей Алпеев: нет, файлик превратился в одну длинную строчку

[Sergey]

Ivan Petrovitch: rghost.ru/59510687

[Сергей Алпеев]

Ivan Petrovitch: вот что ответил парсер modx : Error: Недостаточно приведённых данных. Должна быть как минимум одна строка заголовков и одна строка данных.

так получается что мы все слили в одну большую строку

[Sergey]

Сергей Алпеев: Заголовок вопроса звучит "как убрать переносы строк".
Что и было сделано.
Если один перенос всё же нужен, то не так уж трудно его сделать руками в нужном месте.

[Sergey]

Сергей Алпеев: ну и вообще, думается мне, что не удалять надо было переносы, а заменить LF на CR или на CRLF.

[Сергей Алпеев]

Ivan Petrovitch: так нужен не один перенос , согласен формулировка вопроса была не исчерпывающей , просто не осведомлен в вопросе , раньше такого не делал , перенос нужен не один , теперь я вижу что нужен перенос после каждого объекта недвижимости , т/е первая строка это назвнание полей в которые он попадет , а все остальные строки это их содержимое , сейчас когда нет вообще никаких переносов получилось так какбудто у нас один объект , а их 18 000 , получается переносы строки все же нужны чтобы парсер смог отделить один объект от другого , а беда как рас в том что в экспортируемом тексте объектов есть переносы строки которые сбивают парсер с толку

[Сергей Алпеев]

Ivan Petrovitch: как заменить LF на CR , и что это и с чем едят ?

[Sergey]

Сергей Алпеев: предлагаю сначала понять, что нужно на выходе. Сейчас экспортированный файл выглядит довольно криво и, на первый взгляд, не поддается простой переработке в нужный вид. Вероятно в процессе экспорта допущена ошибка.

[Сергей Алпеев]

Ivan Petrovitch: я пробовал экспортировать без поля "описание" где содержится этот текст , и все переносится спокойно , без проблем , на выходе нужно сделать так чтобы все поля одного объекта были в одно строке для корректного импорта

[Сергей Алпеев]

Ivan Petrovitch: я пробовал экспортировать без поля "описание" где содержится этот текст , и все переносится спокойно , без проблем , на выходе нужно сделать так чтобы все поля одного объекта были в одно строке для корректного импорта , как это сделать не пойму , потому что как вы предложили не катит , ибо все сливается в одну строку , еще содержиме этих полей закрывается в кавычки , думал можно регуляркой сделать , но только в самом тексте тоже встречаются ковычки , я уже вообще хз как же это сделать , а в самом битриксе нет настройки типа "переносить отступы " или типа того , чтобы такой проблемы не было

[Sergey]

Сергей Алпеев: "этот текст" - это какой?

[Сергей Алпеев]

текст котес ый содержит в себе полное описание объекта недвижимости , если присмотреться в файле видно , по переносам можно найти что то типа "В бизнес-центре премиум класса созданы все условия для ведения успешного бизнеса:Центральный деловой район: " и бла бла бла , это полное описание , в нем проблема

[Sergey]

Сергей Алпеев: а как экспортируешь из битрикса? Средствами битрикса или напрямую из базы?

[Сергей Алпеев]

Ivan Petrovitch: из битрикса , из бд напрямую не получилось

[Sergey]

Сергей Алпеев: Что помешало?

[Сергей Алпеев]

Ivan Petrovitch: опиши процедуру пожалуйста, может я сделал что то не так

[Sergey]

Сергей Алпеев:
Например так:

SELECT * 
FROM tablename
INTO OUTFILE '/path/to/file/export.csv'
FIELDS ENCLOSED BY '"' TERMINATED BY ';' ESCAPED BY '"'
LINES TERMINATED BY '\r\n';

[Sergey]

Сергей Алпеев: ну или phpmyadmin попробуй, он умеет в csv делать.

[Сергей Алпеев]

не получилось, все равно с отступами

[Sergey]

Сергей Алпеев: что именно не получилось и о каких отступах идет речь?

[Сергей Алпеев]

Ivan Petrovitch: (имел ввиду перенос строки ) не , экспортировать все получилось, на выходе получился точно такой же csv который выплевывает Битрикс , они прямо в бд почему то с такими отступами , причем не спец символов , ничего , просто перенос строки типа :
бла бла бла Недвижимость
бла бла бла Недвижимость
бла бла бла Недвижимость
бла бла бла Недвижимость

[Sergey]

Сергей Алпеев: дай-ка я гляну на тот csv, что получился экспортом из базы

[Сергей Алпеев]

Ivan Petrovitch: скидываю маленький пример , полный весит 20мб , я такой не выгружу
kvartirama.test.lmrk.ru/test_csv_34.csv

[Sergey]

Сергей Алпеев: это чем сделан? phpmyadmin или приведенным мной выше запросом к mysql?

[Сергей Алпеев]

Ivan Petrovitch: этот через phpmyadmin , через запрос он такой же точно в плане переноса строки

[Sergey]

Сергей Алпеев: на основании чего делаешь этот вывод? Пришли вариант, сделанный через звпрос.

[Сергей Алпеев]

Ivan Petrovitch: этот через phpmyadmin , через запрос он такой же точно в плане переноса строки

[Сергей Алпеев]

Ivan Petrovitch: на основании того что в самом первом объекте так же присутствуют переносы строки , как и в варианте из phpmyadmin

[Сергей Алпеев]

Сергей Алпеев: ну и импорт в modx я конечно пытаюсь сделать и он не проходит , говорит не правильное количество элементов

[Sergey]

Сергей Алпеев: какие там переносы? CR? LF? Между разными строками БД должны быть CRLF, если ты сделал все, как я написал. А между строками полного описания будет LF. Их-то и можно удалить будет, получив нормальные строки.

[Сергей Алпеев]

я уже подумал об этом, сегодня попробую пошаманить с самим механизмом битрикса , получив все поля и строки которые там есть и сделать str_replace \n\r по твоему примеру , тогда по идее добьемся желаемого результата , тогда он должен будет привести все строки к состоянию отсутствия переносов строки , и только потом выгружать в csv , сегодня буду пробовать