Как сделать дамп большой базы данных?

Question

[ghbdtnvbh]

Имеется сервер с MYSQl. Скопилась база данных весом 20-22 гига.
При попытке задампать ее стандартным методом:
1) Установил screen
2) Попробовал сделать mysqldump завернув все в screen
перестал работать сайт, то есть начал лагать, т.к. идет нагрузка на БД.
Какие есть еще способы задампать базу? Может быть как-то частями? Либо изменить какие-то значения чтобы не падал сайт при дампе?

Comments

[Одиночка Айс]

HeidiSQL пробовали?

[Slava Rozhnev]

Какие параметры mysqldump Вы использовали?

[ghbdtnvbh]

Slava Rozhnev, mysqldump -u root -p basename > path/to/file.sql

[Одиночка Айс]

Лентюй, исхожу из своего опыта просто, когда локально 10Гб+ мускуль отваливался, этот клиент помог мне забэкапить БД.

[Одиночка Айс]

Лентюй, спасибо за информацию

[Slava Rozhnev]

ghbdtnvbh, mysqldump -u root -p basename --single-transaction > path/to/file.sql

[Vitaly Karasik]

Slava Rozhnev, +1 - это должно быть отмечено как ответ

Answer 1

[Slava Rozhnev]

Добавьте ключ --single-transaction

mysqldump -u root -p basename --single-transaction > path/to/file.sql

Comments

[rPman]

на hdd у меня база данных сильно замедлялась во время снятия дампа, не до смерти сайта но все же, single-transaction не поможет там где по чисто техническим причинам random access замедляет чтение

Answer 2

[rPman]

у mysql нет адекватных методов управления приоритетами (есть low-priority yно оно действует на не все engines) поэтому исторически распределение нагрузки делают с помощью репликации.

Поднимаешь второй сервер (физически файлы базы должны быть размещены на другом диске или даже сервере) и настраиваешь между основным и этим второстепенным master-slave репликацию, требования к этому среверу сильно ниже (зависит от нагрузки само сабой, но в основном там будут только записи) и уже на эту базу натравливаешь mysqldump

p.s. альтернатива, запилить свой/подправить исходники mysqldump, в своем приложении скорость получения данных можно контролировать принудительными sleep-ами (например запрашиваешь табличку, а в цикле получения данных вставляешь раз на тысячу строк sleep).
первый же нагугленный код mysqldump на php, вставь слип в этот цикл

upd. не нужно править код штатной утилиты, более чем достаточно просто использовать штатный механизм потоков linux и замедлить запись итогового дампа с помощью к примеру cstream

mysqldump ... | cstream -t $((1024*1024)) | zstd --ultra -T0 -o backup.sql.zstd

p.p.s. тупо, останаливаешь базу, копируешь файлы с таблицами как есть, переносишь на свою машину, поднимаешь там ту же версию mysql, делаешь дамп

Comments

[rPman]

Лентюй, о великий, поделись с нами своей мудростью

Answer 3

[Ипатьев]

Percona XtraBackup

Answer 4

[Максим Бабичев]

Сделай реплику и делай дамп с неё.
https://highload.today/kak-nastroit-mysql-master-s...

Comments

[Slava Rozhnev]

Смешно. Как Вы предлагаете сделать реплику не сделав дампа?

[Максим Бабичев]

Slava Rozhnev, никак. Это больше ответ на последний вопрос.

Либо изменить какие-то значения чтобы не падал сайт при дампе?

В одну ночь сделать дамп и реплику, а дальше дампить с неё и проблем с производительностью основного ресурса быть не должно