Почему мелкие вставки в базу дают максимум 4мб/с на ssd?

Question

[miteigi nemoto]

Пишу в базу mysql innodb на nvme samsung evo и столкнулся с тем что iotop показывает максимум 4мб/с и 90% загрузку по io ресурсу. Несколько паралельных потоков не увеличивает скорость записи. Вставка миллион записей идёт примерно по 300-500 байт. Диск без рейдов. Пробовал на другом сервере - такая же история.

Comments

[d'Ivan]

Опишите как происходит вставка: какими командами.

[АртемЪ]

Только вставка идет, или в это время чтение тоже осуществляется?
Сколько свободного места? Работает ли TRIM? Есть ли OverProvisioning? И какая ФС?

Answer 1

[Vitaly Karasik]

Два направления:
1) innodb_flush_log_at_trx_commit=0 или 2 (https://dev.mysql.com/doc/refman/8.0/en/innodb-par...) и прочие базисные настройки
2) bulkinsert как уже сказали и т.п., см. https://medium.com/@benmorel/high-speed-inserts-wi...

Comments

[FanatPHP]

3) если вставки в пределах одного соединения, то завернуть вставки в транзакцию

совет: не надо добавлять бессмысленный шум в виде "и прочие базисные настройки". Надо или написать какие именно, или не писать вовсе

Answer 2

[Владимир Коротенко]

Ищите bulkinsert