Как разгрузить сервер mysql и отдебажить запросы?

Question

[olegxxxl]

Есть сайт написанный на ларавель, база данных вынесена отдельно на сервер другой. Сервер 24 ядра, то
есть не самый слабый сервер и все было нормально, до определенного момента. Примерно
1-2 недели назад, через день, а бывает и каждый день процессы на сервере забиваются чуть ли не на 100%

то есть от 70 до 100% отдельных ядер. Когда стал смотреть что же так грузит через htop, увидел что
огромное кол-во процессов mysqld.



Вопрос, как можно залогировать каких больше всего запросов летит, что бы понять и в дальнейшем оптимизировать ?
Можно ли сделать это отдельно на сервере с базой или нужно на беке что то изменять ?

Происходит это примерно в одно и тоже время с 18 до 19 вечера, в час пик.
Возможно кто то сталкивался и знает как это исправить.

Comments

[Денис Юрьев]

у меня как "админа" на этот случай два главных инструмента с которых начинается разбор полета - мониторинг состояния бд средствами заббикс - помогает моментально дать бэкрепорт разрабам какого рода запросы аномально летят (select или update/insert) + лог медленных запросов базы

если дохрена запросов на select, то во первых в ларавеле есть механизмы для кэшированния онных средствами redis/memcached, во вторых вопросы к наличию ключей в таблицах

если дохрена запросов на update/insert - то во первых сами настройки бд смотреть, во вторых код приложения, нельзя ли их количество уменьшить

ну и в случае, когда база вынесена на отдельный сервер стоит осторожно настроить и использовать постоянные соединения (осторожно, потому что за лимиты коннектов можете вылететь быстро)

Answer 1

[Илья]

Наверное проще всего, для начала, включить лог запросов на уровне БД.
Ещё вариант: сделать \DB::listen() в ларавеле и анализировать какие запросы уходят.

Comments

[olegxxxl]

А какой именно лог запросов ? Вроде их несколько, у нас включен slow лог помоему, но я не совсем понял что он дает....

[Илья]

olegxxxl, slow log, судя по названию, лог медленных запросов. Есть ещё general log, это лог всех запросов в принципе. Гуглите, всё это есть в интернетах, и как настроить тоже.

[Илья]

olegxxxl, А ещё я бы глянул лог запросов к веб серверу во время нагрузки

[Владимир]

Илья, Вас не смущает что при таком использовании ЦПУ там может быть столько реквестов в секунду что лог всех запросов может просто положить дисковую подсистему на сервере (если там хдд) ?
Включения лога всех запросов может быть банально опасно.

[Илья]

Владимир, Да, пожалуй вы правы

Answer 2

[Владимир]

Зайдите в консоль mysql и выполните
SHOW FULL PROCESSLIST;

так вы увидете текущие выполняющиеся запросы, дальше уже можно их изучать при помощи EXPLAIN