Как сделать так чтобы данные перезаписывались, а не добавлялись новые?

Question

[Goobee]

При повторном включении кода, данные повторно добавляются в базу данных. Как избежать этого?

with open('autodoor.xml', 'rb') as file:
    var = xmltodict.parse(file)
    df = pd.DataFrame(var)
    open_file = var['table']['fillings']['filling']
    keys = ['time', 'user_name', 'rfid_key', 'litre', 'type']
    for i in open_file:
        items = list(map(i.get, keys))
        cursor.execute("INSERT INTO benz VALUES (?, ?, ?, ?, ?)", items, )

Comments

[chemdev]

Запиши один раз и больше не записывай, просто отдельный скрипт для загрузки (то, что у тебя в вопросе), а остальной код пусть работает без этой части. Зачем что то усложнять если задачу можно решить без написания единой строки.

Answer 1

[Максим Припадчев]

Ты используешь pandas датафрейм, потом начинаешь чего то изобретать. Pandas фрейм имеет метод to_sql https://pandas.pydata.org/docs/reference/api/panda.... Ему надо передать имя таблицы, объект соединения, так же у него есть параметр if_exists, которому можно присвоить значение replace. И будет перезапись.

Раз уж у тебя есть фрейм то и оставайся в рамках датафрема сформируй необходимый подсет. И без cursor.execute отправляй в любую базу в том числе и в sqlite.

Comments

[Goobee]

Из xlm файла мне не все нужны данные, а некоторые, я их получаю по ключам, и преобразую в список. Но появляется ошибка. Подскажите, пожалуйста, как правильное её исправить?

with open('autodoor.xml', 'rb') as file:
    var = xmltodict.parse(file)
    df = pd.DataFrame(var)
    keys = ['time', 'user_name', 'rfid_key', 'litre', 'type']
    new_df = df['table']['fillings']['filling']
    for i in new_df:
        items = list(map(i.get, keys))
        items.to_sql('benz', conntect, if_exists='replace')

Traceback (most recent call last):
File "D:\JOB\test2.py", line 44, in
items.to_sql('benz', conntect, if_exists='replace')
AttributeError: 'list' object has no attribute 'to_sql'

[Максим Припадчев]

Goobee, Не нужно тебе никаких списков. Тебе нужен подсет датафрейма. То есть

newdf[keys].to_sql(name, conn, if_exists='replace').

И да читай в фрейм методом from_excel. Не надо with open, затем выбирай подсет и все это дело в базу. Без циклов и запросов.

[Goobee]

Максим Припадчев, Как правильно будет обработать данную ошибку? Traceback (most recent call last):
File "D:\JOB\test2.py", line 42, in
new_df[keys].to_sql('benz', conntect, if_exists='replace')
TypeError: list indices must be integers or slices, not list

[Максим Припадчев]

Goobee, А вот оно что твой new_df это не датафрейм, а список. Смотри, в целом код такой. Вместо всего что у тебя написано.

df = pd.read_excel('autodoor.xml')
keys = ['time', 'user_name', 'rfid_key', 'litre', 'type']
df[keys].to_sql(name, conn, if_exists='replace')

Все, у меня нет твоих данных полностью. Что бы подправить вот эти три строчки. Потому что возможно нужно будет методу read_excel например задать параметр sheet_name, возможно нужно будет индекс поставить False там например, можно даже подсет (колонки которые ты хочешь) выбирать выбирать на уровне чтения из файла сразу параметр usecols. и т.д. доки метода https://pandas.pydata.org/docs/reference/api/panda... И дальше не по одному значению а целый фрейм в базу.

[Goobee]

Максим Припадчев, Я читаю данные не с эксель таблицы а из xml файла. Я проверил с помощью type свой df и вот что мне показало

[Максим Припадчев]

Goobee, https://pandas.pydata.org/docs/reference/api/panda... читай из xml. Я не внимательно глянул, без разницы.

[Goobee]

Максим Припадчев, Удалось! Спасибо вам большое за помощь!

[o5a]

Goobee, Только стоит учитывать, что параметр if_exists = 'replace' не заменяет совпадающие данные в таблице, а полностью ее пересоздает и записывает с нуля. Важно помнить, если планируется догружать данные из новых источников.

Answer 2

[Daemon23RUS]

"INSERT INTO benz VALUES (?, ?, ?, ?, ?)"
заменить на UPDATE ..... https://www.sqlite.org/lang_update.html
P.S или использовать INSERT ..... ON CONFLICT(ключевое_поле) https://www.sqlite.org/lang_conflict.html