Как подключить zabbix-мониторинг postgres, запущенные с помощью docker-compose?

Question

[Alexey Burlakov]

Недавно начал осваивать zabbix. Чтобы сразу было "как надо", решил настраивать и устанавливать как часть сборки docker-compose. Локальный zabbix-сервер и удаленный zabbix-агент нормально работают, все данные собираются и отображаются.
Захотел далее подключить мониторинг базы данных PostgreSQL, находящуюся на том же хосте, где и zabbix-сервер.
Все запущено через docker-compose.

Делал по руководству отсюда: https://habr.com/ru/post/234481/
то есть взял файлы из репозитория https://github.com/lesovsky/zabbix-extensions/
для zabbix-агента, расположил в нужную папку - все работает, UserParameter'ы добавились.

Застрял на шаге:

zabbix-get -s 127.0.0.1 -k pgsql.ping['-h 127.0.0.1 -p 5432 -U postgres -d mydb']

(ip и имя базы данных оставил как в примере, у себя использовал правильные, с этим проблем нет).

И проблема в том, что сервис zabbix-agent (из docker-compose который) не содержит в себе psql.
Соответственно, не может корректно выполнить UserParameter "pgsql.ping", который обращается к psql.

Вопрос - как сделать так, чтобы из контейнера zabbix-agent вызвать psql, содержащийся в контейнере db?

(пытался рыть в сторону /var/run/docker.sock, но так и не разобрался, как получить возможность выполнить программу хоста ОС, изнутри docker-контейнера)

Answer 1

[Pavel Zamyatin]

Вопрос - как сделать так, чтобы из контейнера zabbix-agent вызвать psql, содержащийся в контейнере db?

Никак. В этом смысл изоляции в отдельные контейнеры. Если вам в контейнере с zabbix-agent нужен psql, то создайте кастомный образ из Dockerfile на базе существующего и поставьте туда psql.

Comments

[Alexey Burlakov]

спасибо, думаю надо копать в этом направлении.

Answer 2

[Vitaly Karasik]

Захотел далее подключить мониторинг базы данных PostgreSQL, находящуюся на том же хосте, где и zabbix-сервер

Если я правильно понял вопрос - то надо инсталлировать zabbix-agent на том хосте где PostgreSQL.

Comments

[Alexey Burlakov]

он на нем, но в докер-контейнере

[Vitaly Karasik]

@redflasher

Понял.
Тогда, если все контейнеры (Zabbix agent and PostgreSQL) запущены через один docker-compose,  то можно присоединяться так (https://www.linode.com/docs/applications/container...

zabbix-get -s database -k pgsql.ping['-h database -p 5432 -U postgres -d mydb']

docker-compose.yml:

services:
database:
image: postgres
container_name: pg_container
volumes:
- pgdata:/var/lib/postgresql/data

[Alexey Burlakov]

Vitaly Karasik, к сожалению такой вариант не работает, по той причине, что zabbix-get существует в контейнере с zabbix-agent'ом, а psql - в контейнере с postgres.
А вызываемая zabbix-agent'ом UserParameter-команда

-k pgsql.ping['-h database -p 5432 -U postgres -d mydb']

пытается вызвать как раз psql, которого в контейнере с zabbix-agent'ом не имеется.
Так что, похоже, решением все-таки может быть только предложение Pavel .

--
я пытался решить через curl(который, вместе с jq, тоже надо было еще доставить в контейнер с zabbix-agent'ом), и получалось что-то вроде такого монстра:

curl -s --unix-socket /var/run/docker.sock -H "Content-Type: application/json" -d '{"Detach": false, "Tty":false}' -X POST localhost:4243/exec/$(curl -s -H 'Content-Type: application/json' --unix-socket /var/run/docker.sock localhost:4243/containers/zabbix-agent/exec?stdout=1 -d '{"AttachStdout":true, "Cmd":["date"]}' | jq '.Id' | sed -e 's/^"//' -e 's/"$//')/start 2>&1 | cat

это уже финальный вариант (если не считать, что выполняется пока только лишь команда "date", а не psql, и к тому же не в том контейнере), но он состоит из 2 запросов Docker API и его можно разложить на:

1. шлем запрос на выполнение команды:
   

   curl -H 'Content-Type: application/json' --unix-socket /var/run/docker.sock localhost:4243/containers/zabbix-agent/exec?stdout=1 -d '{"AttachStdout":true, "Cmd":["date"]}' | jq '.Id' | sed -e 's/^"//' -e 's/"$//'

   
   и получаем в ответ Id запроса
   
   
2. запускаем саму команду
   curl -s --unix-socket /var/run/docker.sock -H "Content-Type: application/json" -d '{"Detach": false, "Tty":false}' -X POST localhost:4243/exec//start 2>&1 | cat
   
   

[Vitaly Karasik]

Alexey Burlakov,
насколько понимаю, все что надо для работы в такой конфигурации - это плагин для мониторинга Postgres в контейнере Zabbix agent (или в Zabbix server)

[Alexey Burlakov]

для работы в такой конфигурации

если речь о двух изолированных контенерах, в одном общем docker-compose,
то нужен и сам плагин для мониторинга Postgres (а это по сути что-то вроде bash-скрипта), и сам софт, который он использует.
Для примера, вот сама команда pgsql.ping:

UserParameter=pgsql.ping[*],/bin/echo -e "\\\timing \n select 1" | psql -qAtX $1 | tail -n 1 |cut -d' ' -f2|sed 's/,/./'

Или вот кусок самого плагина для мониторинга Postgres:

spoiler

# Background writer statistics. https://www.postgresql.org/docs/9.6/static/monitor...
UserParameter=pgsql.bgwriter[*],psql -qAtX $1 -c "SELECT row_to_json(j) FROM (SELECT checkpoints_timed, checkpoints_req, checkpoint_write_time, checkpoint_sync_time, current_setting('block_size')::int*buffers_checkpoint AS buffers_checkpoint, current_setting('block_size')::int*buffers_clean AS buffers_clean, maxwritten_clean, current_setting('block_size')::int*buffers_backend AS buffers_backend, buffers_backend_fsync, current_setting('block_size')::int*buffers_alloc AS buffers_alloc FROM pg_stat_bgwriter) AS j"

# pg_buffercache - extension which allow examining what's happening in the shared buffer cache in real time. https://www.postgresql.org/docs/9.6/static/pgbuffe...
UserParameter=pgsql.buffercache[*],psql -qAtX $1 -c "SELECT row_to_json(j) FROM (SELECT current_setting('block_size')::int*count(*) AS total, current_setting('block_size')::int*sum(CASE WHEN isdirty THEN 1 ELSE 0 END) AS dirty, current_setting('block_size')::int*sum(CASE WHEN isdirty THEN 0 ELSE 1 END) AS clear, current_setting('block_size')::int*sum(CASE WHEN reldatabase IS NOT NULL THEN 1 ELSE 0 END) AS used, current_setting('block_size')::int*sum(CASE WHEN usagecount>=3 THEN 1 ELSE 0 END) AS popular FROM pg_buffercache) AS j"

# General info
UserParameter=pgsql.ping[*],/bin/echo -e "\\\timing \n select 1" | psql -qAtX $1 | tail -n 1 |cut -d' ' -f2|sed 's/,/./'
UserParameter=pgsql.uptime[*],psql -qAtX $1 -c "select date_part('epoch', now() - pg_postmaster_start_time())::int"
UserParameter=pgsql.cache.hit[*],psql -qAtX $1 -c "select round(sum(blks_hit)*100/sum(blks_hit+blks_read), 2) from pg_stat_database"

Тут можно увидеть, что плагин состоит из множества строк, начинающихся с UserParameter, каждая из которых - отдельная команда типа того же pgsql.ping.
И там же видно, что каждая команда обращается к программе "psql", отсутствующей по умолчанию в контейнере zabbix-agent.
Возможно есть смысл поставить psql отдельно, без установки всего postgres-сервера, в контейнер к zabbix-agent'у.
Но я пока решил ставить дополнительный zabbix-agent в контейнер с postgres.

[Vitaly Karasik]

Alexey Burlakov, да, без инсталляции плагина не обойтись.
Я бы поставил все нужные плагины на контейнер Zabbix Server.

В целом я не знаю, насколько подходит Zabbix для мониторинга контейнеров (не хочу сказать, что не подходит, просто не сталкивался пока). По моему опыту:
- обычно в реальной жизни контейнеры используются под Kubernetes
- для мониторинга используется Prometheus или Stackdriver

[Alexey Burlakov]

Vitaly Karasik, спасибо за обсуждение!
Насчет Prometheus или Stackdriver - может в будущем посмотрю. Это пока мой первый опыт работы с системой мониторинга (не считая munin, который наверняка и хорош, но чет не сильно мне был понятен, как не профессиональному админщику).