Резервное копирование разношёрстных БД в MySQL

Question

[niakrisn]

Подскажите решение по сабжу, которое подойдет для резервного копирования баз данных MySQL в рамках следующих условий:

• Общий объем баз данных около 8Гб.
• Общее кол-во баз данных 100+.
• Почти в каждой БД есть как MyISAM таблицы так и innoDB.
• Встречаются базы данных в которых таблицы имеют разные кодировки.
• Консистентность архива.

Answer 1

[Андрей Буров]

а чему mysqldump не устраивает?

Comments

[niakrisn]

Всем устраивает, но есть трудности.
Например: таблицы имеют кодировку UTF8 и клиент после подключения делает SET NAMES UTF8, но данные в этом подключении льет в CP1251, получается, что эти данные читабельны только при такой схеме.
Далее мы делаем mysqldump --default-character-set=utf8… > dump.sql и получаем не консистентный дамп.

Понимаю, что нужно чинить приложение которое страдает такой проблемой, но это не всегда возможно.
P.S. Или я что-то не так делаю?

[Андрей Буров]

Если вы делаете dump с --default-character-set=utf8, то и восстанавливать нужно mysql --default-character-set=utf8 <…

[lesha_penguin]

Проблему с кодировкой mysqldump-а в 99% можно решить одним из трех способов:

* Заставить заменить все SET NAMES cp1251 на SET NAMES utf8 (или наоборот):
sed -e 's#SET NAMES yyy#SET NAMES xxx#' dump.sql
* Сконвертивовать сам дамп (если вы не используете в базе blob-ов то проблем возникнуть не должно):
iconv -f xxx -t yyy
* комбинация sed и iconv

После этого на выходе мы получаем то что можно лить в другую базу. Кстати, sed поможет если надо, например, произвести переименование таблиц называющихся по другому в целевой базе.

[niakrisn]

К сожалению так не получится, т.к. данные уже с символами UTF8 и если попробовать почитать их как CP1251 то получим еще одну кашу.

Answer 2

[pentarh]

Удаленный шифрованный бекап MySQL при помощи LVM snapshot

Comments

[niakrisn]

Не подходит, т.к. в случае необходимости клиенту нужно отдать дамп в SQL формате.

Answer 3

[davinchi]

maatkit.org

Comments

[niakrisn]

mk-archiver?

[davinchi]

или mk-parallel-dump/mk-parallel-restore. Использовал довольно долго на хорошего размера базе.

Answer 4

[davinchi]

или mk-parallel-dump/mk-parallel-restore. Использовал довольно долго на хорошего размера базе.

Comments

[niakrisn]

В доке написано:
Do not use mk-parallel-dump for backups.

At the time of this release there is a bug that prevents --lock-tables from working correctly, an unconfirmed bug that prevents the tool from finishing, a bug that causes the wrong character set to be used, and a bug replacing default values.

[davinchi]

Видимо, с тех пор поломали.