Почему может быть куча sleep запросов пока не дам отдохнуть mysql пару минут?

Question

[egoranisimov]

Всем привет!

Странная проблема, не могу разобраться. Есть проект с постоянной нагрузкой от пользователей, периодически в processlist'е появляется пару тысяч пустых запросов в статусе sleep до момента, пока не поставлю небольшую задержку через redis (просто не даю делать более N запросов в N времени). Так даю проекту постоять пару минут, дальше возвращаю всё как было и ему снова хорошо на протяжении полудня/дня. В чём может быть проблема, куда можно смотреть? Ощущение, будто запросы набиваются в очередь и он отходит только когда дам пузырю сдуться.

На скриншоте, например, таким моментом стал бекап бд в 5 утра. (НО это происходит и посреди дня, например. Просто как пример) Бекап уже закончился, но было несколько тысяч подвисших запросов. Они длятся примерно 10-20 сек, завершаются и набиваются новые.

Comments

[d'Ivan]

А это самописный бэкап? Что он представляет из себя?

[egoranisimov]

Роман Мирр, дело не в бекапе даже, просто бекап это 100% вызывает, а так это может посреди дня случится спокойно.

Answer 1

[Vitaly Karasik]

Во-первых, бэкап на продакшен не должен вешать сервер.
Два варианта - или запускайте его на slave, используйте снепшоты, или хотя бы
"mysqldump --single-transaction".
В целом я не вижу проблемы с сервером. Интересно посмотреть "slow queries" graph перед 5:00 и после, без спайка. И вообще проанализировать и начать оптимизировать slow queries.

Comments

[egoranisimov]

Проблема не в бекапе точно, это происходит и без него в любое время дня. В слоулог попадают запросы без индекса (включил посмотреть где забыл, а там обычные выборки по табличке где 50 записей и мускуль даже не хочет его использовать) и порой обычные update table set field = field +1, ибо их очень много. Может быть проблема с этим, инкрементов бывает десятки тысяч в минуту (особенность проекта).

Интересно именно то, что в слоулоге точно нет запросов по 5-10 секунд, хотя sleep соединения бывают и по 30 сек. И почему он будто подвисает пока не дашь отдохнуть минутку, после отдыха запросов к серверу бывает больше на 20-40% и ему хорошо.

[egoranisimov]

egoranisimov, egoranisimov, update table set field = field +1 where id = ?, без условий*

[Vitaly Karasik]

Проблема не в бекапе точно

Тем не менее  spike на графах в 5:00 кажется мне нездоровым

sleep соединения

На мой взгляд это вообще не проблема. То есть, наверно, правильнее будет закрывать соединения в апликации, но я не вижу проблемы в sleep  connections.

пару тысяч пустых запросов

Кстати, на графе не видно spike в connection?

В слоулог попадают запросы без индекса (включил посмотреть где забыл, а там обычные выборки по табличке где 50 записей и мускуль даже не хочет его использовать) и порой обычные update table set field = field +1, ибо их очень много. Может быть проблема с этим, инкрементов бывает десятки тысяч в минуту (особенность проекта).

А действительно тяжелых нет?

[egoranisimov]

Vitaly Karasik, да, прям тяжёлых нет, если брать за оценку Rows_sent, Rows_examined.

Пик там потому что бекап в этот момент был и закончился, туда залетели вообще все запросы, но вот этот "пузырь" длился ещё час, видно по CPU.

[Vitaly Karasik]

egoranisimov,

если брать за оценку Rows_sent, Rows_examined

да, это я и имел в виду.

Опять же - в целом я не вижу проблем. Было бы интересно посмотреть на метрики дисков - возможно bottleneck там.