Как лучше вести статистику по работе сервиса?

Question

[Boris19]

Есть сервис, написанный на python. Работают несколько экземпляров этого сервиса на нескольких серверах. Задания сервис берет из базы данных. Хочется вести статистику, сколько заданий обработал каждый из запущенных сервисов. Посоветуйте, пожалуйста, какие есть good practice для решения такой задачи, как собирать статистику подобного рода.

Answer 1

[Владимир Коротенко]

Пишите статистику в базу и выводите ее в чем вопрос

Comments

[Boris19]

Ну это только одно из решений и оно совершенно плохое.

Во-первых, если каждый сервис обрабатывает миллион заданий в минуту, это мне нужно помимо запросов на получение задачи, делать ещё миллион запросов на сохранение статистики? Это слишком сильно нагрузит базу.

Во-вторых, как выводить эту статистику, писать свой велосипед, который будет тянуть из базы сохраненные значения и рисовать графики? А кто должен следить, чтобы статистика не съела все место на сервере, где БД?

Хотелось бы услышать про какое-то более менее готовое решение.

[Владимир Коротенко]

Boris19, https://habr.com/ru/company/southbridge/blog/431122/

вопрос собственно в том как вы хотите затормозится что бы понять?

[Boris19]

Владимир Коротенко, спасибо, это уже кое-что

Answer 2

[zohan1993]

все зависит от того, как планируете собирать, хранить, обрабатывать метрики
например, если нужно просто считать количество выполненных заданий по каждому экземпляру сервиса
и уже есть мониторинг на основе Prometheus
удобно будет использовать клиентскую библиотеку Prometheus для Python
https://github.com/prometheus/client_python
потом можно с легкостью эти данные собирать в Prometheus, ну и соответственно дальше их обрабатывать