Почему падает rabbitmq?

Question

[romaaa32]

Как узнать почему падает rabbitmq?

На сервере 2 cpu, 4 оперативки. Включены 200 работников которые выполняют достаточно продолжительные действия. Когда сайт и работники были на разных серверах кролик не падал, но редиска жрала терабайтами трафик... Пришлось сделать все на одном сервере. Теперь кролик падает, первый раз в день запуска, второй раз 2 дня проработал.

Comments

[Daria Motorina]

Тоже интересно услышать варианты дебага, но наверно стоит добавить в вопрос больше предыстории - на каком сервере запущен, какие ресурсы выделены, какие задачи возложены на ребит в проекте...

[romaaa32]

Daria Motorina, я думал может где есть логи ошибок или еще чего, но те что нашел никаких ошибок не пишут.

[Daria Motorina]

romaaa32, https://www.rabbitmq.com/logging.html#log-file-location

[Mikhail Osher]

Прошу прощения, а зачем redis для rabbitmq, когда последний, вроде как, сам выполняет роль брокера?

[d'Ivan]

Mikhail Osher, возможно, слово "редиска" выступает в роли жаргона.

[romaaa32]

Mikhail Osher, в редисе хранятся данные (настройки пользователя), которые все время проверяются во время работы работника, между серверами передаются несколько терабайт данных в месяц, а брокер нужен для того чтобы обязательльно выполнить процедуры для каждого пользователя в порядке очереди, так как в прошлой версии программы без брокера все было хаотично. Сейчас же все работает как надо, но падает RabbitMQ

[romaaa32]

В общем падал из-за отсутствия оперативной памяти

Answer 1

[d'Ivan]

Как узнать почему падает rabbitmq?

1. Прочесть логи rabbitmq и документацию, если необходимо
   
2. Установить систему мониторинга и понаблюдать за показаниями ЦПУ, памяти, диска, сети и прочими
   
3. или позвать опытного сисадмина
   

Comments

[Developer]

Какую сиитему мониторинга лучше поставить? Zabbix?

[d'Ivan]

Developer,
Можно Zabbix, а также munin, nagios, cacti и др.

[Supme]

Метрики лучше собрать, например Prometheus'ом, потом в Grafana графики памяти диска и запущенных процессов посмотреть в паралели.

[Олег Клещук]

Посмотри dmesg.
99% oom в гости ходит

Answer 2

[Vitaly Karasik]

Должно быть что-то в логах RabbitMQ и\или системных.
Возможно, другие сервисы бегущие на сервере жрут память и срабатывает kernel out-of-memory-killer.
Если лень ставить нормальный мониторинг, установите хотя бы atop, тогда можно будет проанализировать ситуацию с памятью перед падением.