Как записать в csv список python (состоит из предложений с разными символами)?

Question

[Александр Кошелев]

Добрый день всем.
Задача: выводить анекдоты из БД.
Спарсил сайт с помощью bs4
Добавил все анекдоты в список
Список состоит из 54 анекдотов, которые вывожу и все норм получаю
Затем я изменил список на словарь, чтобы в дальнейшем записать в csv
Затем записал все в csv

file = '/resources/data/jokes.csv'
with open(file, 'w', newline='') as f:
    writer = csv.DictWriter(f, dict_for_export_to_db.keys())
    writer.writeheader()
    writer.writerow(dict_for_export_to_db)

У меня получилась запись, но беда в том, что я не могу добавить этот файл в БД в связи с тем что индексы легли по оси 1(колонки). А мне, чтобы залить в БД надо чтобы каждый анекдот был в разных строках и одной колонке.
Подскажите пожалуйста, как мне транспонировать csv или как мне изначально записать данные в строки, а не в столбцы?

Comments

[Алан Гибизов]

См.п.3.8

[Александр Кошелев]

Алан Гибизов, а пункт? Не понимаю что не так в вопросе

[mkone112]

Александр Кошелев, правила прочитай - сразу станет понятно.

[Александр Кошелев]

mkone112, не уточнял бы если бы не прочел

[mkone112]

Александр Кошелев, если так - с дислексией не помогу.

[Александр Кошелев]

mkone112, С точки зpения банальной эpудиции. каждый индивидуум, кpитически мотивиpующий абстpакцию, не может игноpиpовать кpитеpии утопического субьективизма, концептуально интеpпpетиpуя общепpинятые дефанизиpующие поляpизатоpы, поэтому консенсус, достигнутый диалектической матеpиальной классификацией всеобщих мотиваций в паpадогматических связях пpедикатов, pешает пpоблему усовеpшенствования фоpмиpующих геотpансплантационных квазипузлистатов всех кинетически коpеллиpующих аспектов.

[Vindicar]

Александр Кошелев, поскольку читать тебе лениво, процитирую.

Использовать для демонстрации фрагментов кода только специальный тег code или специальные демонстрационные ресурсы (например, JsFiddle - https://jsfiddle.net/). Размещение фрагментов кода в виде изображений запрещено.

Что у тебя на скриншоте?

[Алан Гибизов]

Александр Кошелев, внимательно перечитайте мой первый коммент.

[Александр Кошелев]

Алан Гибизов, готово

[Александр Кошелев]

Vindicar, Благодарю!

[PavelMos]

Проще список сразу в базу данных загрузить
Если же надо именно через csv, то при записи и чтении csv '=' можно использовать как сепаратор разделитель записей, только для упрощения один '=' оставить.

[Александр Кошелев]

только для упрощения один '=' оставить.

Вот эту фразу не понял до конца. Где оставить?
Да, уже понимаю что csv не приоритет, нашел вариант через pandas с его методом to_csv

Answer 1

[Алан Гибизов]

Что касается собственно проблемы, попробуйте вставить в конце каждой строки \n

Comments

[Александр Кошелев]

Не, это так не работает тут

[Алан Гибизов]

Александр Кошелев, а, вгляделся, понял. Обрати внимание на пример в документации. Там каждая строка это отдельный словарь.

import csv

with open('names.csv', 'w', newline='') as csvfile:
    fieldnames = ['first_name', 'last_name']
    writer = csv.DictWriter(csvfile, fieldnames=fieldnames)

    writer.writeheader()
    writer.writerow({'first_name': 'Baked', 'last_name': 'Beans'})
    writer.writerow({'first_name': 'Lovely', 'last_name': 'Spam'})
    writer.writerow({'first_name': 'Wonderful', 'last_name': 'Spam'})

[Александр Кошелев]

Алан Гибизов, ааа, вы это имели ввиду. Ну я плохо представляю как мне такое сотворить, да и по сути пробовал. Я циклом только проходил

# file = '/resources/data/asian_jokes.csv'
# with open(file, 'w', newline='') as f:
#     writer = csv.DictWriter(f, fieldnames=csv_rows)
#     for i in range(dict_for_export_to_db):   
#         writer.writerow(i)

[Алан Гибизов]

Александр Кошелев, если я правильно понял, у вас есть словарь с ключами и значениями, каждая пара должна стать строкой в csv?
Если пройтись циклом по словарю, как у вас, вы фактически итерируете только список ключей. А вам надо и ключи и значения. Их возвращает метод .items() в виде итератора кортежей (ключ, значение). Дальше можно либо приводить каждую пару к маленькому словарю и обрабатывать как у вас, либо вообще просто явно генерировать строки для csv и сцепить их все через перевод строки, и сохранить в файл.

[Александр Кошелев]

Алан Гибизов, пробовал с items, может что-то не так делал, но у меня выдавало ошибку, либо конверт был плох.
В общем решение нашел, я привлек Pandas. Глянул для начала норм ли выводит фрейм, все супер. Потом просто метод to_csv

df = pd.DataFrame(k)
df
df.to_csv('file2.csv', header=True, index=False)

header = False, чтобы первый анекдот не был наименованием колонки.
Также в приницпе можно to_sql попозже попробовать, чтобы как сказал Vindicar гнать данные напрямую.
Пандас короче ппц выручает если честно!

[Алан Гибизов]

Александр Кошелев, из пушки по воробьям. Но если работает - не трогай :)

[Алан Гибизов]

Александр Кошелев, кстати я когда-то года 3 назад с одним товарищем попробовал повзаимодействовать в похожем ключе, он делал какой-то школьный проект «говорилки». Я выгрузил какой-то сервак с анекдотами в БД, потом долго чистил его от всякой матерной грязи. Но в итоге получился массивчик в несколько тысяч строк (или десятков тысяч, не помню). Потом это прикрутил к «говорилке», и на запросы типа «расскажи анекдот» или «рассмеши меня» оно проговаривало случайный анекдот. Но сейчас в тот код мне заглядывать страшно и стыдно, я его даже с github убрал…

[Александр Кошелев]

Алан Гибизов, ну кстати говоря, проблема с залитием в БД. Фрей2м в пандас все норм проглатывает и показывает 54 строки (по количеству анекдотов), а вот БД что хочет творит с добавлением строк. Я просто через UI гружу и ерундова воспринимаются данные(((. И разделителями уже баловался и как только не делал, не хочет БД принимать 54 строки. БД у меня DB2

[Александр Кошелев]

Алан Гибизов, Вот как у меня строка идет в пандас, а вот как в БД принимается((((. Я выделил на втором скрине строку, которая в Пандас находится в первой строке, а в БД она уходит на другую. В Пандас 54 строки - как надо, а в БД 134. И уже хз как залить норм...

[Александр Кошелев]

Алан Гибизов, а вот как выглядит текст, когда я просто октрываю файл. Все как надо в первой ячейки 2 строки и никуда ни чего не сползает, один анекдот в одной ячейке, а заливаю в БД и напасть какая то

Answer 2

[Vindicar]

Хммм, так, ещё разок. Тебе нужно сделать из спискамногострочных текстов csv, и каждый фрагмент текста должен быть отдельным значением в одном и том же "столбце", так?
Вообще я бы поискал возможность избежать его использования - csv не умеет работать с многострочными текстами. Тебе придётся либо как-то экранировать символы перевода строки. Более того, нет никаких гарантий, что в тексте не встретятся служебные символы для csv (кавычки, запятые, точки с запятой).
Питон имеет несколько модулей для работы с БД, как встроенных так и сторонних. Нет ли возможности импортировать данные немедленно?
Если нет, нельзя ли попробовать использовать другой формат? Скажем, формат .sql файлов позволяет экранировать служебные символы в строках. То же самое относится к json.

Comments

[Александр Кошелев]

Vindicar , выше оставил комменты, глянь плыз, там скрины. В csv вроде как бы норм, но в БД принимается шляпно(

Answer 3

[Александр Кошелев]

Вообще я бы поискал возможность избежать его использования - csv не умеет работать с многострочными текстами.

Согласен, это ппц какой-то

Нет ли возможности импортировать данные немедленно?

С радостью, уже ищу эту возможность. Не подскажешь в кратце как и с помощью чего сделать это?

Comments

[Vindicar]

Ахем, ты зачем на свой вопрос отвечаешь? Есть же комментарии.
Насчёт импорта в БД - ну ты бы сказал, что за БД, что ли >_>

[Александр Кошелев]

Vindicar, нечаянно, я коммент сделал а ник не пропписался твой, вот и получилось что сам ответил)
Ну я вообще в DB2 хотел залить данные, но там импорт скудный((((

[Vindicar]

Александр Кошелев, ну быстрый гуглинг находит вот это. Так как у них заявлена поддержка PEP 249, API очень похоже на встроенный питоновский sqlite. Пакет ibm_db_dbi по идее должен ставиться через pip.

[Александр Кошелев]

Vindicar, благодарю, такую статью не находил, довольно хорошо написанная!!! Прсто я думаю о том, что если через UI не получается норм залить (скрины в ветке комментов выше), то есть ли смысл смотреть в сторону доке DB2