Как быстро залить большой дамп в mysql?

Question

[Пума Тайланд]

Есть очень большой дамп, надо его заливать раз в неделю, если использовать mysql dbname < dbname.sql он будет литься несколько недель.
В постгресе есть бинарный дамп, который можно заливать в несколько потоков, что очень круто, есть что то подобное для mysql?

Comments

[d'Ivan]

Насколько большой?

[Пума Тайланд]

Роман Мирр: миллиарды записей, сотни гигов.

[d'Ivan]

Пума Тайланд: ого!

[d'Ivan]

Пума Тайланд: какая версия СУБД?

[Пума Тайланд]

Роман Мирр: 5.7

[Константин]

А если сначала таблицы в memory ложить а потом на диск ? Быстро но не надежно вообще

[Пума Тайланд]

kostya_vtomske: нет столько мемори.

[Константин]

Пума Тайланд: а дамп вы тоже неделями делаете и потом обратно вливаете ?

[Пума Тайланд]

kostya_vtomske: дамп я делаю за полденька на супербыстром продакшен сервере

[Константин]

несколько недель дамп вливать, простите невежду что там за база ? Случаем не PRISM ?

[Пума Тайланд]

ппросто база товаров , не смешите у призма таких мизерных баз не бывает.

[Константин]

Пума Тайланд: ну вдруг вы кусочек уперли )

[Пума Тайланд]

kostya_vtomske: да глупости, если бы это надо было сделать один раз я бы уже развернул, да и такие базы нынче на каждом углу.

[Константин]

Я как понимаю вы на каком то резерве это все проворачиваете ? Или же вообще не домашнем десктопе ?

[Пума Тайланд]

kostya_vtomske: заливаю на стаж с хдд

Answer 1

[Александр Черных]

https://mariadb.com/kb/en/mariadb/how-to-quickly-i...

Answer 2

[d'Ivan]

Для MYISAM рекомендуют увеличить key_buffer_size.
Для InnoDB можешь обвернуть дамп командами SET FOREIGN_KEY_CHECKS=0 в начале and SET FOREIGN_KEY_CHECKS=1 в конце.
https://dev.mysql.com/doc/refman/5.5/en/optimizing...

Comments

[Пума Тайланд]

Попробую , но у меня в бд нет вообще форейджен ключей, не уверен что это повлияет .

[yahorosh]

В конце то зачем оборачивать? Опция действует на момент соеденения. Дамп залился, и все, соеденение сбросилось.

Answer 3

[fouxer]

SET autocommit=0;
SET unique_checks=0;
SET foreign_key_checks=0;

тут дамп

SET foreign_key_checks=1;
SET unique_checks=1;
COMMIT;

от сюда: https://dev.mysql.com/doc/refman/5.7/en/optimizing...

Comments

[mirexes]

Подскажите, а как их вставить если дамп более 100Гб? точнее сам процесс каким образом их добавить к дампу.

[Пума Тайланд]

mirexes, к лампу добавлять не надо
Просто сперва выключаете потом желаете команду лоад дамп из файла потом включаете и ждёте когда все посчитается
Так же надо оптимизировать опции файловой системы на том же екст четыре это ускоряет заливку дампа в несколько раз

[mirexes]

Пума Тайланд, Спасибо помогло

Answer 4

[Vitaliy Orlov]

Встречал только восстановление из cold backup-а, когда все сводится практически к копированию файлов. Но, для этого нужен изначально бэкап файлов базы, который делается на остановленной реплике, чтобы не было простоев мастер-сервера.

Классические способы бэкапа/восстановления для баз размером в сотни Гб подходят очень плохо.

Comments

[Пума Тайланд]

Нет возможности расширить серверный парк

[rPman]

Запускайте базу данных для реплики тут же, можно подготовить для нее хранилище с опциями например journal_data_writeback (может в самой базе что то поотключать), ключевое слово чтобы это была база исключительно временная для репликации, чтобы ее поддержание минимально нагружало сервер.

[Пума Тайланд]

rPman: проблема с местом , там ссд и места на вторую такую базу нет.

[rPman]

купить еще одно хранилище (тут вам не нужна надежность, да в случае ее смерти основная база будет остановлена на ее восстановление, но непрерывность работы требует гораздо больших вливаний)

[Пума Тайланд]

rPman: оно и так отлично непрерывно работает годами.

Answer 5

[Rsa97]

Если файлы баз лежат на томе LVM и допустима кратковременная остановка сервера, то можно остановить MySQL, сделать снапшот тома, снова запустить MySQL и скопировать бинарные файлы со снапшота.

Comments

[Пума Тайланд]

Остановка продакшена маловероятна

[Олег]

Пума Тайланд: Что мешает переключиться к резервной БД?

[Пума Тайланд]

Олег: у него нет резервной бд, удвоить серверный парк пока не реально

Answer 6

[mlwrm]

попробуйте Sequel Pro, возможно ошибаюсь, но вроде шустрее работает, чем руками бекапить / заливать

Comments

[Пума Тайланд]

нет только хуже

Answer 7

[EGO]

Попробуйте Sypex Dumper, но с такими объём не уверен.

Comments

[Пума Тайланд]

Это вообще мимо на больших объемах

Answer 8

[Alexzzzzzzzzz]

Если используете innodb https://www.percona.com/doc/percona-xtrabackup/2.1...