Как обработать большой объем данных?

Question

[Nastya1920]

В БД миллион аккаунтов. Нужно периодически запускать процесс апдейта: для всех аккаунтов с параметром х==а, менять этот параметр на х==в.

Comments

[Aleksey]

UPDATE accounts SET x=b WHERE x=a;

[Saboteur]

А можно более конкретный пример что именно вы делаете и зачем?
Возможно чисто на архитектурном уровне это можно в принципе изменить без обновления строк.

[Nastya1920]

Saboteur, да, конечно: есть таблица аккаунтов. Их 2 вида, старый и новый. Нужно добавить столбик в таблицу для параметра А. Но для каждого вида аккаунта этот параметр запрашивается из разных источников.
То есть job должен бежать и смотреть, где в БД еще не обновлен параметр, потом определять вид аккаунта, делать соответствующий реквест и персист полученному значению.

[Saboteur]

доставать все аккаунты с параметром х==а, каждому менять этот параметр на х==в и сохранять изменение.

Нужно добавить столбик в таблицу для параметра А.

Вроде как совершенно разные задачи? Обновить существующее значение и добавить новый столбец.

Answer 1

[Армянское Радио]

Мудрый паттерн состоит тупо в том, чтобы не гонять данные из базы туды-сюды. Так что запускайте апдейт прямо в базе.

Не надо смотреть на модных мальчиков в худи, которые канселят хранимые процедуры и триггеры, и советуют превратить РСУБД в свалку таблиц (и убрать foreingn keys, потому что мешают).

Answer 2

[Рональд Макдональд]

А зачем через Яву-то дёргать? Можно непосредственно в самой СУБД запланировать. Пример для MS SQL, чтобы было понятно: https://www.osp.ru/winitpro/2017/01/13051261

Comments

[Nastya1920]

На самом деле у меня нет особого права выбора)
Плюс загвоздка состоит в том, что для получения нового значения обновляемого параметра нужно по ходу дела делать разные запросы (в зависимости от вида аккаунта).

Answer 3

[Константин Цветков]

Установите pgAgent. Руководство.
Создайте задание. Руководство.
С запросом (от Aleksey) UPDATE accounts SET x=b WHERE x=a;

Answer 4

[Ерлан Ибраев]

Только чистый SQL! Только хардкор!
А так используйте JDBC или Spring JdbcTemplate будет вам щастье. :-)

Comments

[Армянское Радио]

Счастье качнуть-туда сюда миллион-другой записей выглядит как-то сомнительно.