Клиент хочет автоматизировать загрузку каталога на сайт через CSV, как это сделать если есть сложные описания?

Question

[Дмитрий]

Суть вопроса вот в чем. Клиент хочет автоматизировать загрузку товаров на сайт из CSV файла. На первый взгляд проблем нет - разделить все поля точкой с запятой и все. Но как быть с полем "описание", которое может содержать очень много текста, html-теги, знаки препинания (та же точка с запятой) и т.д.?
Уточню, что вопрос касается не столько обработки на стороне сайта, сколько того КАКИМ образом предложить клиенту готовить этот файл, чтобы в нем в итоге оказались экранированы специальные символы. Ведь не может же он просто в экселе создать табличку, навбивать туда текстов и сохранить в CSV.
И еще он хочет чтобы в тексте были html-теги. На сайте есть визуальный редактор, в котором форматируешь текст и он добавляет нужные теги, но если клиент будет готовить тексты вне файла, как ему сделать, чтобы текст был уже с html?

Answer 1

[DevMan]

есть полно готовых либ для работы с cvs.
есть даже встроенная функция.

Comments

[Дмитрий]

Тут даже вопрос не столько в том как обработать этот CSV на стороне сайта, как в том каким образом клиенту подготовить этот файл, чтобы в нем были заэкранированы знаки-разделители, чтобы там могли быть html-теги и пр.?

[DevMan]

Дмитрий: клиент руками штоле этот файл делает?
любой редактор, способный сохранить в cvs, прекрасно знает как обрабатывать такие ситуации.
например,

123	456	789	asdasd,dsfdsg,dsgsdg,reytrutru
sdfds; dfsfsdf	cxbv-sdgsdg	wer, dsgg	sdsdg dsgdsdsg;sdg"

эксель сохранит как

123,456,789,"asdasd,dsfdsg,dsgsdg,reytrutru"
sdfds; dfsfsdf,cxbv-sdgsdg,"wer, dsgg","sdsdg dsgdsdsg;sdg"""

и парсер поймет как это обработать.

Answer 2

[nirvimel]

Вот qwerty.csv с длинными строками, разметкой, тегами и кавычками. Приготовлен он в LibreOffice Calk (пусть будет Excel). При сохранении заданны параметры: "разделитель полей": ,, "разделитель текста": ", "выделять кавычками все текстовые ячейки".

1,"Тайтл","<h1 itemprop=""name "" class=""question__title"">
  Клиент хочет автоматизировать загрузку каталога на сайт через CSV, как это сделать если есть сложные описания?</h1>"
2,"Теги","<ul class=""tags-list"">
              <li class=""tags-list__item subscribed tag_158794"">
          <a href=""https://toster.ru/tag/csv"">
            Csv          </a>
        </li>
                    <li class=""tags-list__item subscribed tag_152707"">
          <a href=""https://toster.ru/tag/программирование"">
            Программирование          </a>
        </li>
                    <li class=""tags-list__item  tag_260"">
          <a href=""https://toster.ru/tag/php"">
            PHP          </a>
        </li>
                </ul>"

Вот скрипт на Python (извините, PHP на сегодня закончился), который выводит в консоль содержимое qwerty.csv построчно, раздельно все поля (№, Name, Description).

import csv
with open('qwerty.csv', 'rb') as csvfile:
    for row in csv.reader(csvfile, delimiter=r',', quotechar=r'"'):
        print ("# %s\nName: %s\nDescription: %s\n" % tuple(row))

Как видите все обрабатывается корректно, включая большие куски HTML, никакие строки и поля не смешиваются:

# 1
Name: Тайтл
Description: <h1 itemprop="name " class="question__title">
  Клиент хочет автоматизировать загрузку каталога на сайт через CSV, как это сделать если есть сложные описания?</h1>
# 2
Name: Теги
Description: <ul class="tags-list">
              <li class="tags-list__item subscribed tag_158794">
          <a href="https://toster.ru/tag/csv">
            Csv          </a>
        </li>
                    <li class="tags-list__item subscribed tag_152707">
          <a href="https://toster.ru/tag/программирование">
            Программирование          </a>
        </li>
                    <li class="tags-list__item  tag_260">
          <a href="https://toster.ru/tag/php">
            PHP          </a>
        </li>
                </ul>

Answer 3

[abcd0x00]

Надо просто использовать готовые средства для преобразования данных в csv, потому что они знают, как правильно экранировать (соотвествуют rfc4180).

На питоне пример

>>> import csv
>>> import sys
>>> 
>>> lst = [['a a1', 'b,b1', '<c>"text"</c>1', 'd d1'],
...        ['a a2', 'b,b2', '<c>"text"</c>2', 'd d2'],
...        ['a a3', 'b,b3', '<c>"text"</c>3', 'd d3']]
>>> 
>>> writer = csv.writer(sys.stdout)
>>> 
>>> writer.writerows(lst)
a a1,"b,b1","<c>""text""</c>1",d d1
a a2,"b,b2","<c>""text""</c>2",d d2
a a3,"b,b3","<c>""text""</c>3",d d3
>>>

Comments

[Павел Волынцев]

Иш ты, можно код под cut прятать!!! Я и не знал.

[abcd0x00]

Павел Волынцев: это spoiler, семантику посмотришь на habrahabr.ru

[DevMan]

Павел Волынцев: в спойлер можно все прятать, не только код.

<spoiler title="тыц">
...
</spoiler>

Answer 4

[evnuh]

Текст поля не может содержать разделитель, так что точки с запятой в вашем описании не будет, либо будет заэскейпена и функция чтения csv это поймёт.
И что значит "как быть"? Как вам надо, так и будьте. Нужно просто запихнуть его в базу - запихивайте как есть. Нужно оставить только текст - фильтруйте и оставляйте только текст. В чём суть вопроса то?

Comments

[Дмитрий]

А каким образом клиенту подготовить CSV файл, чтобы в нем знаки-разделители были заэскейпены? Т.е. тут вопрос даже не в том как я программно буду парсить этот CSV, а как его клиент сможет подготовить?

[evnuh]

Дмитрий: вы же понимаете, что спрашиваете "как сделать csv"? Что я должен вам ответить на это? Этот вопрос ещё более абстрактный, чем прошлый. Я не знаю, что у вас у клиента, откуда данные, через что он их выгружает и т.д.

[Дмитрий]

evnuh: да, получается, что именно к этому вопросу, я сам того не ведая, и пришел! сорри!