Как ускорить pg_dump с удаленного сервера?

Question

[lovesuper]

У меня настроена синхронизация локальной дб и дб с удаленного сервера при помощи pg_dump/pg_restore. Все работает хорошо, но вот одна беда -- очень медленно выкачиваются таблицы (я синхронизирую полностью всю бд - данные и схему). Все бы ничего, но скрипт, работающий через ssh, выкачивает дб в 10 раз быстрее.

Как это можно объяснить и как можно ускорить direct pg_dump, не выкидывая инфу?

Comments

[Salavat Sharapov]

то есть у вас сейчас на локальном дб работает скрипт который который снимает дамп удаленно с удаленного дб и рестором поднимает у вас в локали? А скрипт который подключается по SSH на удалённом дб снимает дамп и переносит его в локальный бд и поднимает - работает 10 раз быстрее?

[lovesuper]

Да. Чистая правда.

Answer 1

[Salavat Sharapov]

Дык складывание дампа с удаленного хоста на локальный происходит фрагментно, а передача много мелких файлов вы сами знаете происходит очень долго.

Не лучше ли поднять master и slave? и настроить реплику?

Comments

[lovesuper]

ну я не знаю как это подойдет для реализации синхронайза для девелоперов со стейджинговой базы данных...

Answer 2

[Пума Тайланд]

Делайте бинарный дамп -Fc
должно быть быстро.

Answer 3

[vasilushechka]

1 вариант: используйте base backup (Существенно быстрее чем любой dump/restore. Но надо учесть, что снять отдельно базу или часть базы не получится, base backup включает в себя весь PG кластер).
2 вариант: поднимите реплику + base backup.