Как правильно импортировать таблицу excel в бд postgre?

Question

[kan3k1k3n]

есть таблица в excel:

код на python для импорта таблицы в postgre (все типы данных в бд и excel - текст)

import openpyxl
import psycopg2


conn = psycopg2.connect(
    host="127.0.0.1",
    database="educational_practice",
    user="postgres",
    password=""
)
cur = conn.cursor()
workbook = openpyxl.load_workbook('data.xlsx')
worksheet = workbook['Ткани']
for row in worksheet.iter_rows(min_row=2, max_row=496, values_only=True):
    cur.execute("INSERT INTO excel.textile1 (vendor_code, name, color, drawing, composition, width, length, price) VALUES (%s, %s, %s, %s, %s, %s, %s, %s)", row)
conn.commit()
cur.close()
conn.close()

но возникает ошибка:

not all arguments converted during string formatting

что не так?

Answer 1

[Максим Припадчев]

Я бы в принципе рекомендовал использовать pandas для таких целей.
1. Читаем excel в pandas dataframe псевдокод будет такой.

import pandas as pd
df =pd.read_excel(data.xlsx,sheet_name=’Ткани’)

у функции read_excel много параметров, в том числе header, index_col которые возможно придется настраивать.

2. Глянул бы на него что таблица в порядке (это как фрейм запишется в базу), глянул бы на типы данных, df.dtypes что бы все типы колонок, были в том виде как их ожидает база. Если надо изменил бы их. Проверил бы есть ли пропущенные значения (nan, NA). Если есть провел бы работу с ними.

3. Затем бы отправлял в базу методом to_sql(). Псевдо код будет такой.

df.to_sql('table_name', connection, if_exists='replace')

Параметр if_exists (если таблица существует) имеет также метод append просто весь фрейм добавит новыми строками, и fail тогда будет ошибка.

У pandas хорошая документация и он силен в чтениях фалов любых форматов, так что если что то не получается, это почти всегда поправимо, ну и как писать в базу тоже конфигурируется очень удобно, так что если в этом будут проблемы то тоже решается.

Comments

[Максим Припадчев]

Justa Gain, Понятно, что не в инструменте. Например openpyxl это один из доступных парсеров excel в pandas (там их несколько)

Дело в структуре данных, или ты итерируешься и проверяешь каждую строку а все ли элементы отвечают всем требованиям. Либо ты имеешь структуру фрейм где все эти вещи делаются легко и быстро. По сути если мы более общий случай возьмем, нам нужно будет писать проверку типов, пропущенные величины, может еще что то. это возможно конечно в цикле match case вставить там и типы можно проверять удобно. Но не проще ли иметь фрейм.