Как избежать ошибки запрошенный segment wal уже удалён?

Question

[Андрей]

Собственно есть настроенная потоковая репликация Master-Slave
На мастере postgresql.conf

archive_mode = off
#archive_command = '/bin/true'
max_wal_senders = 10
max_wal_size=4GB
wal_keep_size=3GB
wal_level = replica
wal_log_hints = on

На slave

Ocтанавливаем службу postgres, удаляем каталог data целиком.
Затем заупскаем репликацию data с мастера pg_basebackup

от пользака postgres
sudo -i -u postgres запускаем
pg_basebackup -R -h 192.168.250.182 -U rep_user -D /var/lib/pgpro/1c-16/data -P
По заверщшению стартуем сервак

Собственно на маленькой базах все ок (15 гб).

решил потестить большую базу -95ГБ. Заливаю её на мастер - стартует репликация . Но в процессе заливки базы - ломается репликация на Slave

В логах мастера

2024-02-14 13:28:17.752 MSK [771] ОПЕРАТОР: START_REPLICATION 36/C7000000 TIMELINE 1
2024-02-14 13:28:22.756 MSK [773] ОШИБКА: запрошенный сегмент WAL 0000000100000036000000C7 уже удалён
2024-02-14 13:28:22.756 MSK [773] ОПЕРАТОР: START_REPLICATION 36/C7000000 TIMELINE 1

Подскажите варианты решения проблемы ( Увеличить размер max_wal_size и wal_keep_size ? Или есть еще какие нибудь варианты ? )

Answer 1

[Melkij]

wal_keep_size размером больше ожидаемого лага репликации по объёму wal (это место будет занято постоянно, зато из-за этого не угрожает уронить мастер по переполнению диска)

либо использовать слоты репликации. Очень желательно с разумным max_slot_wal_keep_size, чтобы забытый слот репликации умер, а не уронил мастер по исчерпанию места на диске.

либо архив wal, но если не нужен для других задач, то чаще используется wal_keep_size или слоты репликации

Comments

[Андрей]

Собственно хочу уточнить один момент(РЕшил остановиться на репликации через слот - получается более экономно по занимаемому месту в pg_wal. )
При использовании слотов репликации

В настройках На мастере отключаю параметры max_wal_size=4GB и wal_keep_size=3GB
archive_mode = off
#archive_command = '/bin/true'
max_wal_senders = 2
#max_wal_size=4GB
#wal_keep_size=3GB
wal_level = replica
wal_log_hints = on
И указываю
max_slot_wal_keep_size = 20GB

На slave стопарю службу постгрес очищаю data
Запускаю синхронизацию с создание слота репликации (от пользака postgres)

pg_basebackup -R -h 192.168.250.182 -U rep_user -D /var/lib/pgpro/1c-16/data -P -C -S pgstandby1

Запускаю службу pg.
Вроде все работает, репликация не отваливается даже при заливке большой базы на Master.

По идее на этом все ?

Или что-то упускаю ?