Добрый день, планирую построить систему оповещения, нагрузка 2Гб данных в день,
триггеров будет около 150шт, характеристики сервера из того что мне известно это 2тб(схд ссд 15к) дискового пространства, 64гб ОЗУ и процессор 12 ядер,
хочу установить zabbix, субд пока не знаю но думаю oracle так как есть sga, посоветуйте какой использовать?и в моем случае использование elasticsearch поможет ли в производительности ? если да то как поженить zabbix с elasticsearch?
Я бы посоветовал отказаться и от того и от другого.
А поставить influxdb (база для метрик) + kapacitor (триггеры) + grafana (графики).
Мы так кластер мониторим.
Если уж и нужен эластик, то для анализа логов. Ставьте тогда ES + logstash + kibana.
Так тоже мониторим, но в другом месте и для других целей.
мне надо windows lunux security log хранить + содержимое текстового документа в разных ОС, item буду создавать по id, алерты кидать по триггеру, в заббиксе все это есть, можно ли все это реализовать в ES? еще пишут что ES не гарантированно хранит данные, триггеры будут работать в диапазоне 24х часов, т.е. желательно чтобы данные были в sga для быстрого анализа.
Alister O: В этастике триггеров нет. Данные он хранит гарантированно, как и любая nosql штука. И интересно, где это про такое пишут?! Одно но. Для того, чтобы правильно по данным бегать, нужно создавать маппинг, что с наскоку сразу не получится.
Для анализа логов (любых) очень хорошо подходит эластик + kibana + logstash. Но это только анализ логов.
Для мониторинга работы сервисов и серверов мы использует collectd (для линукса) + telegraf (windows) + influxdb (база тайм-значений) + kapacitor (слушает базу и реагирует на события) + grafana (отображение данных).
Соответственно получается две независимых системы.
Алексей Черемисин: Что такое ElasticSearch? тут кажется прочел про не надежность. можете подсказать какого объема данные может обработать ES? не будет ли деградировать по мере возрастания базы? и еще вопрос, как правильно задуржить ES с zabbix? например заббикс для алертов и хранения базы 1мес. А со старыми данными уже работать в ES?
Alister O: там написано про особенности работы эластика, про ненадежность ничего не нашел. Да, система особенная, что вытекает из библиотеки, на которой он построен - люсина. Данные хранить можно лочень большие, тем более, что эластик очень хорошо кластеризуется. Дружить ено с заббиксом смысла наверное нет, просто ставьте в параллель и гоните данные в два места, и в заббикс и в эластик.
Тут главный вопрос, почему решили именно такую связку использовать.
Zabbix можно легко подружить с elasticSerch через скрипт. Скрипт делает запрос к ElasticSearch API, а в скрипт передавать фильтр поиска (смотрите документацию по ElasticSearch API).
Другой вопрос, что вы таким образом хотите мониторить? Если логи, то есть уже давно существующая связка Logstash + ElasticSearch + Kibana (без оповещений) и/или Logstash + ElasticSearch + ElastAlert (c нотификацией)
Средний
