Почему mongodb нагружает систему до 100%?

Question

[Сергей]

Доброе утро коллеги, у меня появилась такая проблема:
Имеется сервер:
Architecture: x86_64
CPU op-mode(s): 32-bit, 64-bit
Byte Order: Little Endian
CPU(s): 8
CPU MHz: 3699.984
BogoMIPS: 7200.07
Virtualization: VT-x
L1d cache: 32K
L1i cache: 32K
L2 cache: 256K
L3 cache: 8192K
64 gb памяти и 520gb ssd

Active connections: 14917
server accepts handled requests
277170 277170 36352500
Reading: 0 Writing: 6100 Waiting: 8770

На сервере усстановлен nginx+php5-fpm и mongodb, на данный момент на сервер ломится 15к пользователей, 7 из которых nginx успевает обаработать, остальные весят в статусе Waiting: 8353
htop показывает что все ядра процессора загружены и самый тяжелый процесс это mongodb, подскажите куда копать и что делать!

Comments

[Дмитрий Кузнецов]

Хм...очень странно. При такой машинки - да такая нагрузка...Может криво настроен MongoDB?

[Сергей]

Дмитрий Кузнецов: дело в том что я только начал работать с монгой, до этого был postgree и ни каких проблем не было, дали задачу перенести все на mongo, програмеры задачу выполнили, а вот я всех торможу, не могу решить проблему!
не подскажете что нужно настраивать в monge? у меня дефолтовая конфигурация!

[Дмитрий Кузнецов]

Сергей: К сожалению не знаком в mongodb. Я просто предположил.

Answer 1

[Алексей Алюшенко]

Оптимизируй запросы к БД.
У самого была такая же проблема(правда на mysql, но суть думаю та же). Проблема была в том, что я делал много запросов на 1 таблицу(select и update) с 1,5М записей=>запросы выполнялись по 1+ секунде=>собирались в очередь=>нагружали процессор. Решил проблему убрав запросы на чтения из этой таблицы, сделав отдельную таблицу, где уже были посчитанные значения.

Upd. С mongodb не знаком, но нагуглил аналог SHOW PROCESS LIST для mongodb: https://docs.mongodb.org/manual/reference/method/d...

Comments

[Сергей]

если бы я только мог это сделать :)
да и у нас mongo стоит, а я с ней вообще не работал!

[Алексей Алюшенко]

Сергей: посмотрите список процессов текущих

Answer 2

[index0h]

подскажите куда копать и что делать!

Для начала отследить, что его так грузит. Если виновник будет найден - простить и понять.

Если не найден: разделяйте систему между несколькими серверами.

15к пользователей

Это rps, или постоянное количество открытых соединений?

Comments

[Сергей]

это постоянное количество пользователей, виновник найден, это mongodb но что с ней не так я не могу понять!

[index0h]

Сергей
Монга сама по себе нагрузку не делает. Нагрузку создают запросы ее нагружающие. Вам необходимо определить, что именно ее ушатывает.

> это постоянное количество пользователей
нагрузка не меряется в пользователях)) Нагрузка меряется в Request Per Second (rps), количестве конкурентных подулючений (открытые tcp соединения), *bits/sec

Answer 3

[_ _]

https://docs.mongodb.org/manual/tutorial/manage-th...
Включаете лог медленных запросов и смотрите, в чем проблема.
Наверняка индекс куда-то забыли добавить и монга какие-то запросы полным перебором вытаскивает.

Comments

[Сергей]

MongoDB shell version: 2.4.14
connecting to:
> db.getProfilingLevel()
1
> db.getProfilingStatus()
{ "was" : 1, "slowms" : 20 }
>

лог включен но в логе я не чего не вижу по медленны запросам...

Answer 4

[lega]

Скорей всего нужных индексов не добавили.

Comments

[Сергей]

програмеры смотрели, все ок, бок чисто на стороне сервера но я не могу понят где, на данный момент уже Active connections: 22629
server accepts handled requests
613790 613790 58310648
Reading: 4 Writing: 13237 Waiting: 9320

[lega]

Сергей:
> програмеры смотрели, все ок
Они наверно, просто сваливают на вас лишнюю работу.

Включите профайлинг, отловите пару тромознутых запросов и выкладывайте тут.
Тогда можно будет сказать в чем беда, в основном там 2 возможных причины:
1) Кривой запрос (без индекса)
2) Не справляется железо

[lega]

Ещё mongostat покажите

[Сергей]

lega: вы были правы, они пытались съехать с темы, оказалось что в ява скрипте не экранировались кавычки и не верно работал скрипт, сейчас все нормализовалось, но хотел спрсоить что бы на будушее такого не было, как заставить nginx показывать по каким ссылкам идут запросы и какие скрипты затупливают? что то типа apache2 server_status?

[lega]

> nginx показывать по каким ссылкам идут запросы и какие скрипты затупливают
нету такого, они не связаны, это все зависит от кода на сервере.

Можно замерять время выполнения запроса, при получении / отправке, как долго этот запрос работал, и если он медленный то складывать его в логи или ещё куда. И потом с ними разбираться.

[Дмитрий Энтелис]

Сергей: в nginx есть обычный access_log, в него можно добавить время работы скрипта - а дальше или самопальный скрипт, или сервис типа datadoghq.com