Как переписывать данные в таблице supabase?

Question

[Айнур Ярулин]

У меня есть .csv файлы, которые ежедневно обновляются (что-то изменяется, что-то добавляется, что-то удаляется), эти файлы я вручную загружаю на Supabase (они используют PostgreSQL).

Как автоматически обновлять данные в базе?
Вот что я имею ввиду:
Если сегодня в файле есть: Миша, Дима и Андрей, то они все добавляются в базу данных,
а если завтра в файле будут только Миша и Дима, то они остаются, а Андрей удаляется.

Как я понял, метод upsert обновляет данные или добавляет их, если их нету.
Осталось только удалить старые данные, которых нет в новыхДанных.

// Node.js server

const data = await supabase
    .from('НазваниеТаблицы')
    .upsert(новыеДанные)

Comments

[Айнур Ярулин]

Изначально я думал удалять все данные, а потом заново их добавлять,
но поскольку у меня примерно 70к строк, а 99% данных даже не меняются,
я понял что это бред.

[Дмитрий]

Айнур Ярулин, ну проверить все 70к строк тоже идея так себе. дешевле сносить. тем более вопрос в том по каким ключам вы будете делать проверку. Миш может быть много.

Answer 1

[Дмитрий]

Добавьте поле updated_at куда заносите время последнего обновления - и потом сносите все записи у которых время последнего обновления на день позже - или с какой эпизодичностью вы импортируете данные.

Comments

[Айнур Ярулин]

Шикарно, спасибо)

[kalapanga]

Айнур Ярулин, я данный ответ поддерживаю. Но нужно понимать, что у этого метода тоже своя цена есть. Даже если изменился, как Вы пишете, только 1% записей, апдейтить придётся все записи (обновлять в них это самое поле).
Но раз-то в день 70 тысяч строк - думаю, не страшно.

[Айнур Ярулин]

kalapanga, получается нужно как-то сравнивать новые и старые данные, а переписывать только изменившиеся значения.