Почему падает скорость записи в MySQL?

Question

[PendalF89]

Здравствуйте!
Скрипт висит в бесконечном цикле и импортирует записи в БД. Постепенно скорость записи падает. Почему так происходит и как этого избежать?

Answer 1

[Rsa97]

Индексация. При добавлении каждой следующей записи надо перестроить все индексы таблицы.
MySQL в стандартный дамп добавляет команды отключения индексов до заполнения таблицы и включения их после заполнения.

ALTER TABLE `table` DISABLE KEYS;
INSERT ...
...
INSERT ...
ALTER TABLE `table` ENABLE KEYS;

Comments

[PendalF89]

Спасибо!

[PendalF89]

А почему подобное наблюдается даже при повторном запуске скрипта? Т.е. я вижу к примеру, что скорость падает, перезапускаю скрипт и скорость снова возрастает на какое-то время

[Rsa97]

PendalF89, Смотреть надо. Может где-то память не освобождается, может ещё что-то. Без анализа сказать сложно.

[stratosmi]

PendalF89, Это неправильный ответ.
Есть специализированная быстрая загрузка Bulk

[PendalF89]

stratosmi, в моём случае дело оказалось в индексах

[stratosmi]

PendalF89, это и есть индексы.
Просто загрузка методом bulk как раз правильный путь для вставки в БД больших объемов данных.

Answer 2

[Stalker_RED]

Хинт: при больших объемах лучше данные не "перекачивать скриптом" а делать
mysql -u dbUser -p dbName < foobar.sql
Или
LOAD DATA INFILE 'data.txt' INTO TABLE my_table;
И да, индексы лучше отключить, а потом включить после заливки.

Если у вас действительно данные поступают непрерывным потоком, то возможно стоит посмотреть на другие базы, типа кликхауса, например.

Comments

[Constantine]

ClickHouse все-же нереляционная бд и без схемы и описание процессов советовать CH, сомнительное решение.

Answer 3

[abbaboka]

bulk loading