При смене версий PHP вырастает нагрузка на диск, что делать?

Question

[MrKMV34]

Есть сервер - дедик, 2 процессора по 6 ядер в гипертрейдинг, 48gb ram, под БД жесткий диск SSD,
под програмный код HDD
ОС - Ubuntu server 16.04
Есть БД - MariaDB 10.2.19

Есть приложение на php7.1, в нём одни функции лапшекодом.
Это приложение держит нагрузку(по мониторингу) ~300 rps до backend'a, на
БД нагрузка ~400prs select, ~270rps insert, ~160rps update, ~1 delete, пишется много статистики
и пишется не самым оптимальным способом - insert .. on duplicate key update ...
Но сервер живет, load average ~3 и всё работает


Есть 2ая версия этого приложения на php7.2, на yii 2 написана. Включен production режим. В ней запись статистики
перенесена в очереди которые крутятся на rabbitmq, воркеры тоже на yii 2 сделаны, данные статистики
агрегируются в redis'e и раз в 20 минут закидываются в MariaDB. На
БД нагрузка меньше ~300prs select, ~130rps insert, ~80rps update, ~1 delete.
Но несмотря на меньшую нагрузку, MariaDB начинает очень активно использовать диск.
Не только в моменты, когда с Redis'a данные переносятся в MariaDB, а постоянно. Настолько сильно
пишет, что вырастает latency и всё виснет и сервер не успевает давать ответы.


Что меняли в конфиге:
[mysqld]
skip-name-resolve
max_connections = 1000
connect_timeout = 5
wait_timeout = 600
max_allowed_packet = 32M
sort_buffer_size = 128M
bulk_insert_buffer_size = 1G
tmp_table_size = 2G
max_heap_table_size = 2G
key_buffer_size = 256M

query_cache_limit = 1M
query_cache_size = 128M

innodb_log_buffer_size = 128M
innodb_log_file_size = 1G
innodb_buffer_pool_size = 20G
innodb_buffer_pool_instances = 10

innodb_io_capacity = 800

innodb_write_io_threads = 16
innodb_read_io_threads = 16

Нужна помощь! Куда копать? Что смотреть? Какие варианты снизить нагрузка на диск есть?
Может что-то не так с фреймворком?

Comments

[hOtRush]

Там что-то знатно так пишет со скоростью 300M/s уже 20 часов, почему бы собственно и не отваливаться остальным запросам. Могу ошибаться, но 300Mb в секунду это даже для ссд немаленькая скорость. Проблема видимо в вашей крон-задаче, которая раньше медленно работала и поэтому неспеша писала в базу 2M/s, а сейчас неплохо разогналась до 300.

[Антон Соломонов]

Несовсем корректный вопрос.
"При смене версий PHP", но вы говорите о переписывании системы впринципе.
Заведите систему на обоих версиях и сравните. Вероятнее всего окажется, что php тут и не при делах.
Люди правильно советуют - открывайте логи и смотрите. Explain для запросов, сверьте везде ли используются индексы. Соберите статистику по количеству запросов и времени их выполнения.
mysql_slow_log на крайний случай.

Answer 1

[Борис Сёмов]

Проанализируйте, что же именно делает в это время mysql, хотя бы запустив mytop, и посмотрев explain частых и долгих запросов.
У вас может просто отсутствовать какой-нибудь нужный индекс в таблице, или неудачно какой-то запрос составлен, и используется активно full scan или file sort.

Answer 2

[vman]

включить кеширование схемы в Yii2, иначе Yii2 делает много доп. запросов

'db' => [
.....
    'enableSchemaCache' => true,
    'schemaCacheDuration' => 3600,
    'schemaCache' => 'cache',
]

по тюнингу БД

1) уменьшить query_cache_size до 64M (были проблемы при большом кеше)

прочитать про эти два параметра и выбрать режимы

innodb_flush_method                  = O_DSYNC
innodb_flush_log_at_trx_commit = 0

Comments

[Arman]

'schemaCacheDuration' => 3600,

есть ли смысл в этом? так то если схема кривая будет, то приложение ляжет на час и блуждай по логам потом, не проще без времени закэшировать и сбрасывать при деплои? и на всякий можно при исключениях от БД сбрасывать?

[vman]

при деплое новой версии кеш должен сбрасываться, вот и все

[Борис Сёмов]

Его можно даже дольше сделать. У вас же не меняется схема постоянно. А сбрасывать кеш при изменениях никто не мешает.

Answer 3

[German Zvonchuk]

MrKMV34

Для ~300 rps много ресурсов расходуется.

Попробуйте поставить на сервер Blackfire.io или XHProf.

Думаю узнаете много интересного о причине нагрузки высокой.

"БД нагрузка ~400prs select" - это вообще не о чем, если только конечно это не супер тяжелые запросы с INNER JOIN на 10 таблиц.

После этого есть смысл запустить https://github.com/major/MySQLTuner-perl и посмотреть рекомендации.