Как экспортировать данные из CSV файла в таблицу PostgreSQL при помощи python?

Question

[Алексей Мартьянов]

Как экспортировать данные из файла CSV в таблицу PostgreSQL так, чтобы они заменялись, а не добавлялись к уже имеющимся?
Сейчас приходится вначале очищать таблицу, а потом только добавлять данные при помощи следующего кода:

import psycopg2

    
conn = psycopg2.connect("host=localhost dbname=postgres user=postgres password=1111111")
    cur = conn.cursor()
    with open('file.csv', 'r', encoding="utf-8") as f:
        next(f)
        cur.copy_from(f, 'table_name', sep=',')
    conn.commit()

Но данные добавляются, а нужно заменять.

Comments

[galaxy]

Что значит "чтобы они заменялись"?

Если новые данные из csv приходят с некоторыми измененными полями, должен быть способ сопоставить: вот эта строчка в базе уже была, а теперь в ней изменились поля f1/f2/f3; а вот это строчка новая полностью - надо добавить. В простейшем случае это будет ключ - набор (неменяющихся) полей, по которым можно идентифицировать строчку.

[Алексей Мартьянов]

galaxy, Можеть быть не правильно выразился, извиняюсь.

Мне надо чтобы все данные из таблицы очищались, а потом вставлялись новые.

Сейчас я делаю это руками.

вначале DELETE FROM table_name;

а потом

import psycopg2

    
conn = psycopg2.connect("host=localhost dbname=postgres user=postgres password=1111111")
    cur = conn.cursor()
    with open('file.csv', 'r', encoding="utf-8") as f:
        next(f)
        cur.copy_from(f, 'table_name', sep=',')
    conn.commit()

А так как это 2 разных действия, то времени уходит уйма. К тому же еще данные обновляются каждые 3 минуты.

[galaxy]

evgeniy1215, да ну, какая уйма, вы что. Если надо полностью перезаписать таблицу, это самый правильный способ (с маленькой поправкой: быстрее будет делать не DELETE, а TRUNCATE table_name;. Запрос TRUNCATE можно также из python отправлять

Answer 1

[Vindicar]

Без знания структуры данных и структуры таблицы тут мало что понять можно.
Но вообще, вместо тупого копирования из csv через copy_from*(), нужно:
1. Читай файл самостоятельно. Используй модуль csv, он умеет удобно парсить этот формат, в том числе пропускать строку заголовков.
2. Выбери в своих данных первичный ключ, чтобы понять, когда такая строка уже есть в базе, а когда её ещё нет. При создании таблицы укажи первичным ключом соотв. столбец.
3. вставляй данные через запрос вида INSERT ... ON CONFLICT UPDATE. Точный синтаксис нужно посмотреть в документации на постгрес, обычно это называется UPSERT.

Проблема с copy_from() в том, что у тебя таблица БД должна иметь тот же набор столбцов и в том же порядке, что и CSV, хотя это ограничение совершенно необязательно.

Comments

[Алексей Мартьянов]

У меня таблица в PostgreSQL и данные в файле идентичны. При парсинге я уже привожу файл CSV к необходимому виду.
Вот структура таблицы:

[Vindicar]

evgeniy1215, что у тебя является первичным ключом в таблице?