Как и с чем можно сконвертировать базы размером более 30GB в mysql с cp1251 в utf8?

Question

[Alexey Ostrov]

Имеются базы размером более 30GB, необходимо перевести схемы в utf8 и также сконвертировать данные.
Есть у кого идеи как оптимальнее всего это сделать?

Comments

[Alexey Ostrov]

для маленьких баз решений много, начиная от sypex dumper кончая просто mysqldump - а тут проблема в том что размер базы очень большой и предложенными вами средствами это займет уйму времени и всегда есть шанс что что то тупнет и все с начала...

Answer 1

[Влад Животнев]

Если тег highload поставлен не от балды (вообще-то база на 30 гб - никакая) и в базу действительно идет перманентная нагрузка, от которой избавиться нельзя, то:
1) если есть возможность переключить базу и сервис в read-only - переключаем.
1.1) если нет - пишем в приложении прослойку к mysql-базе, которая сначала делает запрос в новую базу с utf8, потом в старую с cp1251, мерджит результаты.
2) перегоняем построчно/потаблично данные в новую базу, конвертируя на лету. Проверяем, что строка есть в новой базе, удаляем строку из старой базы,

Если же у вас highload поставлен от балды, то дамп, iconv, restore в базу с новым именем. Приложение перед этим потушить, чтобы данные не потерялись (или в read-only базу перевести).

Answer 2

[Freeman]

А в самом MySQL нельзя разве? Создать таблицу в UTF-8 и при помощи insert as select перегнать данные. Затем старую таблицу можно удалить, а новую переименовать в имя старой, если это нужно.

После перегонки всех таблиц изменить умолчательную кодировку базы на UTF-8. Можно даже до, думается, раз кодировка в каждой таблице отдельно хранится.

Answer 3

[Дмитрий Лупонос]

iconv в linux успешно перекодирует. Однако поддержу Vapaamies , лучше выгрузить из MySQL в нужной кодировке (там у таблиц она задается).

Comments

[Freeman]

Я не предлагал ничего никуда выгружать, а прямо на сервере сделать перекодировку, запросами.

[Дмитрий Лупонос]

Так человеку файл нужен, я так понимаю.

[Alexey Ostrov]

Дмитрий Лупонос: мне нужно базу конвертнуть, все вышесказанное занимает просто нереальное количество времени =(

[Freeman]

Alexey Ostrov: Тогда делайте как я предложил. Ничто не мешает вам указать через limit и конвертировать кусками по 100 или 1000 записей, а для исключения повторений использовать not exists.

Еще учтите, что для 30 ГБ в 1251 потребуется 45 ГБ в UTF-8 (условно), так что еще минимум 50-60 ГБ на сервере должно быть свободно. С такими объемами у вас же наверняка выделенный сервер?