Как реализовать миграцию больших таблиц без блокировок?

Question

[Nadir N]

Есть относительно большая таблица с 5+ миллионов строк.
Задача: изменить структуру таблицы, добавив к примеру столбец, и при этом избежать блокировок таблицы.
В таблицу постоянно идут запросы как на запись так и на чтение.
Есть ли какие-то методики или инструменты, которые позволяют правильно делать такие миграции с минимальным даунтаймом? Данные конечно же терять нельзя.

Временные таблицы, вынужденный даунтайм? Какие есть варианты?

Answer 1

[Melkij]

Можно я сошлюсь на своё сочинение на SO? https://ru.stackoverflow.com/q/721985/203622

Впрочем пару слов добавлю:

добавив к примеру столбец

Важно какой именно. Если default null - просто берёте и добавляете со statement_timeout в 1 секунду. alter table всё равно возьмёт блокировку на таблицу, но default null поле - это лишь быстрое обновление системного каталога.
Если другой default - то для pg11 просто берёте и добавляете с таймаутом, для более старых немного приключений.

Comments

[Nadir N]

Да, в целом решение более менее рабочее. Я конечно предполагал что для решения подобных проблем уже есть какой-либо инструментарий.
Ниже привожу ссылку, там расписано чуть подробнее то о чем вы говорили
https://leopard.in.ua/2016/09/20/safe-and-unsafe-o...

[Melkij]

Nadir N, автор сходу ошибается.

Add a new column (safe)
This operation will not block table

Почти все формы alter table берут эксклюзивную блокировку на таблицу. Да, порой на короткое время - но хотят взять. И будет очень больно, если блокировку взять не сможет быстро - alter table будет ждать мешающую транзакцию, но уже заблокирует все другие транзакции к этой таблице. Поэтому автор сильно вводит в заблуждение, называя эти операции безопасными.
https://github.com/postgres/postgres/blob/REL_10_S...

Answer 2

[longclaps]

Adding a new column is actually quite cheap in Postgres.