Точно так же как и любое другое приложение:
- Формализуете вашу задачу в виде какого-то текстового/графического описания
- Формулируете ТЗ с конкретными требованиями, ограничениями и всем прочим
- На основе ТЗ разрабатываете ЧТЗ (Частное ТЗ) со всеми полными деталями, описаниями всех действий, событий, взаимодействий и прочее
- Используя ЧТЗ подготавливаете проект - архитектура, инструменты, системы, подсистемы и прочее с полным описанием, декомпозированными элементами вниз до самых простых и прочее
- Берём проект и по шагам его реализовываем
- Profit
Конкретно для мониторинга давно создана куча комплексных решений типа заббикса, прометея, мунина и прочего.