Возможно ли оптимизировать InnoDB для быстрого INSERT?

Question

[Anton B]

Всем привет.

У меня есть DELL сервер (12 ядер, RAM 128Gb, SSD RAID1) + MySQL 5.5
И есть просто VPS на DigitalOcean (4 CPU, RAM 32Gb, SSD) + MariaDB 10.1

Есть table.sql (InnoDB, размер таблицы после импорта 14GB).

Импорт этой таблицы на обоих серверах занимает 1-1.5 часа!
Мне кажется это очень медленно, дамп происходит за несколько минут, а восстановление час.

Сейчас я применяю такие настройки (пришёл к ним через mysql.com)

innodb_flush_log_at_trx_commit = 0 (на время импорта)
innodb_buffer_pool_size = 80G и 20G (DELL и VPS)
innodb_flush_neighbors = 0 (так как SSD)
innodb_io_capacity = 1000
innodb_flush_method = O_DIRECT

Вопрос: куда еще копать чтобы значительно уменьшить время импорта больших таблиц?

Спасибо!

Answer 1

[evnuh]

Удалите индексы перед импортом, после импорта создайте заново.

P.S. Разницу между капать и копать понимаете?

Comments

[Exploding]

Думаете удаление индексов, а потом их создание на 14ГБ меньше времени займет в итоге? Я хз, не проверял, и лень к тому же еще, поэтому и интересуюсь у кого есть в этом опыт:)

[evnuh]

Exploding, я уверен. Очевидно, что построить индекс по готовым данным один раз гораздо быстрее, чем на каждую вставку перестраивать уже существующий индекс.

[Anton B]

mysqldump по умолчанию добавляет инструкции на создание индексов после того как вставятся все данные https://dev.mysql.com/doc/refman/5.7/en/mysqldump....

Answer 2

[Boris Köln]

Мне кажется это очень медленно, дамп происходит за несколько минут, а восстановление час.

"Скоро сказка сказывается, да не скоро дело делается"

куда еще капать чтобы значительно уменьшить время импорта больших таблиц?

Как быстро залить большой дамп в mysql?

Comments

[Anton B]

По ссылке которую вы предоставили представлены популярные решения, которые я все попробовал/использую.

LOAD DATA INFILE использовать не могу, потому что дамп под него должен быть соответствующий.

SET autocommit=0;SET unique_checks=0;SET foreign_key_checks=0; использую

Answer 3

[Astrohas]

service mysql restart --innodb-doublewrite=0