Как в Python можно изменить запись в CSV?

Question

[barboskin93]

Есть файл CSV с записями в виде словаря (csv.DictWriter). Можно ли как-то изменить данные в строке? (определенной колонке?). Смог только додуматься, что бы изменять какую-либо строку, и уже измененную записывать в конец файла. Но при этом изначальная строка тоже остается. Или как-то ее возможно удалить?

def update_entry():
    name = input('Введите Имя, чьи данные хотите изменить?  ')
    last_name = input('Введите фамилию, чьи данные хотите изменить? ')
    surname = input('Введите Отчество, чьи данные хотите изменить? ')
    with open('directory.csv', 'r+', encoding='utf-8', newline="") as f:
        reader = csv.DictReader(f,)
        fieldnames = ['Имя', 'Фамилия', 'Отчество', 'Организация', 'Рабочий телефон', 'Личный телефон']
        writer = csv.DictWriter(
            f, fieldnames=fieldnames)
        for row in reader:
            if row["Имя"] == name and row["Фамилия"] == last_name and row["Отчество"] == surname:
                # print(row)
                print('Какие данные Вы хотите изменить? (Имя, Фамилия, Отчество, Организация, Рабочий телефон, Личный телефон)')
                command = input('Введите, что хотите изменить: ')
                if command == 'Имя':
                    name_new = input('Введите новое значение: ')
                    row.update({'Имя': name_new})
                    writer.writerow(row)

Comments

[Алан Гибизов]

В общем можно открыть файл, построчно его переписать в новый файл, при этом нужную строку записав с изменениями.
Но если файл большой, или если изменения частые, или и то и другое, то лучше реализовать это в бд, например в SQLite или в чем-то более серьезном.

Answer 1

[Максим Припадчев]

Нет ничего проще для такой задачи чем использовать pandas.
Вот сделал игрушечный пример, сначала создаю csv в первой части для демонстрации, потом обновляю любые подсеты данных, при вводе пользователя.

import pandas as pd
# Первая часть создание файла
df = pd.DataFrame({
    'Name':['Petr','Maks','Aleksandr'],
    'Age':[30,40,50],
    'Salary':[500,700,600]
})
df.to_csv('data.csv', index=False)

# Вторая часть обновление
name = input('Введите Имя, чьи данные хотите изменить?  ')
fields_to_change = input('Какие данные Вы хотите изменить? например Age, Salary: ').split(',')
data_to_update = {}
for field in fields_to_change:
    data_to_update[field] = input(f'Введите {field}: ')

df = pd.read_csv('data.csv').set_index('Name')
df.loc[name, fields_to_change] = data_to_update
df.to_csv('data.csv')
print('Спасибо, данные обновлены')

Вторая часть это непосредственно код который будет обновлять. То есть та часть которая тебя интересует.

Comments

[barboskin93]

Спасибо большое! Суть уяснил.
Но только теперь не пойму почему, при изменении имени, не обновляется, а дописывается в конец еще один столбец имя и еще одно значение имени в выбранной строке. Если запускать Ваш код, то работает как надо. Изменил только название колонок. И сам файл.

[Максим Припадчев]

barboskin93, Отдельным вопросом, и показывай. Смотри я не знаю всех деталей по этому я состряпал пример от которого ты можешь оттолкнуться, потому что может быть много деталей, например а что если имя не уникальное, pandas разрешает не уникальные индексы и обновит все вхождения и т.д. Это я к слову у тебя другое, отдельным вопросом. pandas это самый мощный инструмент для манипуляции табулярных данных в экосистеме python, по этому что бы там ни было оно легко решаемо.

Answer 2

[Vindicar]

Нет, по-простому нельзя. Единственный простой подход (который показал выше Максим Припадчев) - загрузить целиком в память, там изменить, потом выгрузить назад. Для больших CSV файлов это ресурсоёмко.

CSV вообще не предназначен для долговременного хранения данных - скорее, для импорта/экспорта.

Ты мог бы попытаться использовать методы tell() и seek(), чтобы "запомнить" позицию удаляемой строки, а затем в цикле копировать всё что идёт после, "пододвинув" содержимое внутри файла, а потом уже дописать в конец изменённую строку. Но это всё равно долго.

Лучше импортируй файл в базу SQLite, и работай в дальнейшем уже с ней.

Comments

[Инна Фещук]

Можно изучить генераторы и итераторы и ключевое слово функции: yield (использ. вместо return) и тогда можно сделать, чтобы csv анализировался построчно. Я так на 2.5 миллиона записей файл обрабатывала на 4 Гб оперативки без проблемм, если прям нужно могу скинуть ссылку на ГитХаб. Можешь прочитать про эту тему например здесь https://www.google.com/amp/s/proglib.io/p/chto-tak...

[Vindicar]

Инна Фещук, ну для чтения-то да, но в вопросе-то речь о правке.
Придётся или грузить файл в память, или генерировать новый файл рядом, а потом удалять старый.

[Инна Фещук]

Ну спорить не буду, насколько я помню я действительно его выгружала в postgresql, соединяя определенные столбцы ну в общем вот ссыль на гит нет времени сейчас вспоминать, но там вроде все понятно https://github.com/Inna949Festchuk/Hackathons/tree...