Как заполнять csv файл в зависимости от количества данных?

Question

[Api tulanof]

Добрый день! Есть скрипт, который парсит данные с сайта и сохраняет их в csv. Данные с сайта разные. И поэтому нет определенного кол-ва столбцов. Хочется чтобы столбцы автоматически добавлялись.
Например:
add_row({'name': 'John', 'surname': 'Smith'})

Затем:

add_row({'name': 'Alex', 'surname': 'Jackson', 'age': '23'})

И получалось:


Пока написал

import csv

def add_column(column):
    with open('names.csv', 'r+', newline='') as csvfile:
        writer = csv.writer(csvfile)
        reader = csv.reader(csvfile)

        all = []
        row = next(reader)
        row.append(column)
        all.append(row)

        for row in reader:
            row.append('')
            all.append(row)

        filename = "names.csv"
        f = open(filename, "w+")
        f.close()
        writer.writerows(all)

Функция добавляет новую колонку с пустыми значениями для всех строк. Но срабатывает один раз. В след. раз пишет

_csv.Error: line contains NUL

Подскажите как реализовать подобную функцию.

Answer 1

[Максим Припадчев]

А не нужно пытаться из csv файла делать электронную таблицу. У тебя должны быть известны все имена столбцов. И создан csv, со всеми столбцами, а затем ты в него добавляешь записи в которых определенные значения будут None, по скольку значение не спарсено для данного элемента записи.

для записи в csv используй pandas. Создай датафрейм со всеми возможными столбцами. Затем у тебя есть коллекция с записями, ну например список с кортежами, где каждый кортеж это запись, содержащая None, где данные не спарсены.
Псевдо код будет такой (индексы в кортеже должны совпадать с индексами в columns)

data = [('Ivanov','Ivan',None), ('Petrov','Petr',30),...,('Sidorov',None,None)]
columns = ['name','surname',...'age']
df = pd.DataFrame(data, columns = columns)
df.to_csv('result.csv',header=False, mode='a')

Создаешь фрейм, и добавляешь его новыми строчками в существующий csv файл. А автоматически добавлять столбцы в csv файл не нужно. Если же знать наперед все потенциальные имена столбцов не возможно, что я себе слабо представляю (ты должен знать что ты хочешь спарсить), то используй json (мороки будет много).

Comments

[Api tulanof]

Да вы правы, можно получить все имена столбцов, но это было бы слишком трудоемким делом (сотни тысяч товаров, и у каждого свои характеристики). А вот идёт с JSON мне понравилась. После можно будет жсон в CSV передать. Спасибо

[Максим Припадчев]

Api tulanof, Что мешает, для каждого вида товара сделать свой csv. Любое средство анализа например опять таки то же pandas с легкостью определит, одинаковые характеристики и т.д. Структура данных должна быть такая что бы производить анализ, зачем пытаться все свалить в кучу, потому что со структурностью будут проблемы.

[Api tulanof]

Нууу, смотрите... Например:
категория "Материнские платы". Там 90 страниц по 100 товаров соответственно 9000 товаров с одной категории или 9000 товаров "одного вида". И у каждого товара в этой категории разные характеристики. Например в одном есть "поддержка ЕСС: да"
А в другом этого нет..
Собрал все возможные характеристики с первых 50 товаров получилось больше 250, А там их еще > 8750. Соответсвенно собирать все возможные характеристики в моем случае это как ложкой копать бассейн.
Второе решение которое пришло в голову это парсить каждый товар и заполнять csv а в случае появление новых данных, создавать новый столбец и добавлять данные туда. А теперь благодаря вам еще и идейка с жсон ом появилась

[Максим Припадчев]

Api tulanof, Хорошо, ваша задача у вас под рукой вам виднее, нежели мне. Насчет добавления колонок в csv (это даже не рассматривайте), это в целом плохо + каждый раз придется перезаписывать файл, что тоже некуда не годится + потенциально молчаливое разрушение структуры csv (колонки съедут) и т.д.

Тут у нас своего рода древовидная структура, с потенциально новым ответвлением. Можно по типу json сделать конечно, где новая колонка = новый ключ словаря. Но в конечном счете для анализа все равно придется все это дело приводить к табулярному виду.