Zabbix 4.4.5 Почему размер базы не уменьшается?

Question

[Evgeny N]

Настроена очистка истории, Айтемы тоже не хранят историю более 90 дней, но база растет. Уже один раз сталкнулся что не хватило места на диске (пришлось расширять виртуалку).

Нужен совет куда посмотреть и что сделать. Судя по графику какая то очистка есть, но ее явно не достаточно.

Вот более крупно за два дня

База крутится на MariaDB
Версия Zabbix 4.4.5
Если еще какие то данные нужны спрашивайте в комментариях. Спасибо.

Comments

[neol]

А вы уверены, что растёт именно база заббикса, а не какой-нибудь лог?

[Evgeny N]

neol, запросом mysql проверял размер именно базы zabbix, рост постоянный

[neol]

Evgeny N, Какая таблица растёт? У вас на скрине очистка динамики изменений не включена, может это она.

[neol]

Evgeny N, и проверьте MaxHousekeeperDelete в zabbix_server.conf

[Evgeny N]

neol,

всё закомментировано. Что там надо изменить?

[neol]

Evgeny N, попробуйте поставить MaxHousekeeperDeletу=50000 и перезапустить zabbix_server.

[Evgeny N]

neol, ничего не произошло, ждал 3 часа

[neol]

Evgeny N, Значит возвращаемся к вопросу "Какая таблица растёт?". И чтобы два раза не вставать посмотрите дату самой старой записи в этой таблице.

[Evgeny N]

neol, histoty и history_uint

[neol]

Evgeny N, SELECT FROM_UNIXTIME(clock) FROM history LIMIT 1;

[Evgeny N]

neol,
вот ответ

[neol]

Evgeny N, а покажите ещё

SELECT TABLE_SCHEMA, TABLE_NAME, TABLE_ROWS , ROUND((DATA_LENGTH + INDEX_LENGTH) / 1024 / 1024) AS `Size (MB)` FROM information_schema.TABLES ORDER BY (DATA_LENGTH + INDEX_LENGTH) DESC LIMIT 5;

и
SHOW VARIABLES LIKE 'innodb_file_per_table';

[Evgeny N]

neol, вот

[neol]

Evgeny N, Такое ощущение, что у вас просто слишком дофига данных собирается. А какая цифра "Требуемое быстродействие сервера, новые значения в секунду" в вебморде zabbix?

[neol]

И заодно посмотрите что в логах пишут по поводу очистки:

grep housekeeper /var/log/zabbix-server/zabbix_server.log

Путь может отличаться.

[Evgeny N]

neol, Требуемое быстродействие сервера 19.69

Вот сам ло часть лога(нельзя вставить сюда более 10000 символов):



16886:20201027:002733.354 executing housekeeper
16886:20201027:002740.707 housekeeper [deleted 42390 hist/trends, 0 items/triggers, 6 events, 2 problems, 0 sessions, 0 alarms, 0 audit, 0 records in 7.351415 sec, idle for 1 hour(s)]
16886:20201027:012751.440 executing housekeeper
16886:20201027:012757.885 housekeeper [deleted 42323 hist/trends, 0 items/triggers, 0 events, 2 problems, 0 sessions, 0 alarms, 0 audit, 0 records in 6.442195 sec, idle for 1 hour(s)]
16886:20201027:022808.798 executing housekeeper
16886:20201027:022815.691 housekeeper [deleted 42321 hist/trends, 0 items/triggers, 2 events, 0 problems, 0 sessions, 0 alarms, 0 audit, 0 records in 6.891708 sec, idle for 1 hour(s)]
16886:20201027:032826.899 executing housekeeper
16886:20201027:032834.343 housekeeper [deleted 42438 hist/trends, 0 items/triggers, 0 events, 1 problems, 0 sessions, 0 alarms, 0 audit, 0 records in 7.442116 sec, idle for 1 hour(s)]
16886:20201027:042845.407 executing housekeeper
16886:20201027:042852.527 housekeeper [deleted 42384 hist/trends, 0 items/triggers, 0 events, 0 problems, 0 sessions, 0 alarms, 0 audit, 0 records in 7.117147 sec, idle for 1 hour(s)]
16886:20201027:052903.821 executing housekeeper
16886:20201027:052911.138 housekeeper [deleted 42326 hist/trends, 0 items/triggers, 9 events, 1 problems, 0 sessions, 0 alarms, 0 audit, 0 records in 7.313612 sec, idle for 1 hour(s)]
16886:20201027:062922.603 executing housekeeper
16886:20201027:062930.401 housekeeper [deleted 42391 hist/trends, 0 items/triggers, 6 events, 0 problems, 0 sessions, 0 alarms, 0 audit, 0 records in 7.797529 sec, idle for 1 hour(s)]
16886:20201027:072941.115 executing housekeeper
16886:20201027:072946.660 housekeeper [deleted 41768 hist/trends, 0 items/triggers, 6 events, 1 problems, 0 sessions, 0 alarms, 0 audit, 0 records in 5.543927 sec, idle for 1 hour(s)]
1462:20201027:075517.093 server #2 started [housekeeper #1]
2723:20201027:080119.972 server #2 started [housekeeper #1]
2723:20201027:083125.112 executing housekeeper
2723:20201027:083131.185 housekeeper [deleted 42774 hist/trends, 0 items/triggers, 17 events, 19 problems, 1 sessions, 0 alarms, 1 audit, 0 records in 6.072061 sec, idle for 1 hour(s)]
2723:20201027:093140.547 executing housekeeper
2723:20201027:093146.468 housekeeper [deleted 41840 hist/trends, 0 items/triggers, 12 events, 13 problems, 0 sessions, 0 alarms, 0 audit, 0 records in 5.918032 sec, idle for 1 hour(s)]
2723:20201027:103156.081 executing housekeeper
2723:20201027:103202.258 housekeeper [deleted 41724 hist/trends, 0 items/triggers, 0 events, 4 problems, 0 sessions, 0 alarms, 4 audit, 0 records in 6.174529 sec, idle for 1 hour(s)]
2723:20201027:113212.564 executing housekeeper
2723:20201027:113218.392 housekeeper [deleted 41775 hist/trends, 0 items/triggers, 6 events, 18 problems, 0 sessions, 0 alarms, 0 audit, 0 records in 5.827587 sec, idle for 1 hour(s)]
2723:20201027:120047.133 forced execution of the housekeeper
2723:20201027:120047.133 executing housekeeper
2723:20201027:120051.988 housekeeper [deleted 19772 hist/trends, 0 items/triggers, 0 events, 2 problems, 0 sessions, 0 alarms, 0 audit, 0 records in 4.854205 sec, idle for 1 hour(s)]
2723:20201027:130101.183 executing housekeeper
2723:20201027:130107.014 housekeeper [deleted 41750 hist/trends, 0 items/triggers, 0 events, 2 problems, 0 sessions, 0 alarms, 0 audit, 0 records in 5.824747 sec, idle for 1 hour(s)]
2723:20201027:140116.463 executing housekeeper
2723:20201027:140122.555 housekeeper [deleted 41761 hist/trends, 0 items/triggers, 0 events, 2 problems, 0 sessions, 0 alarms, 10 audit, 0 records in 6.084993 sec, idle for 1 hour(s)]
2723:20201027:150132.094 executing housekeeper
2723:20201027:150137.956 housekeeper [deleted 41934 hist/trends, 0 items/triggers, 40 events, 5 problems, 0 sessions, 0 alarms, 6 audit, 0 records in 5.861040 sec, idle for 1 hour(s)]
2723:20201027:160147.398 executing housekeeper
2723:20201027:160153.193 housekeeper [deleted 41944 hist/trends, 0 items/triggers, 14 events, 4 problems, 0 sessions, 0 alarms, 0 audit, 0 records in 5.793303 sec, idle for 1 hour(s)]
2723:20201027:170202.418 executing housekeeper
2723:20201027:170208.310 housekeeper [deleted 41849 hist/trends, 0 items/triggers, 5 events, 14 problems, 0 sessions, 0 alarms, 0 audit, 0 records in 5.890620 sec, idle for 1 hour(s)]
2723:20201027:180218.080 executing housekeeper
2723:20201027:180223.715 housekeeper [deleted 41910 hist/trends, 0 items/triggers, 1 events, 18 problems, 0 sessions, 0 alarms, 0 audit, 0 records in 5.634568 sec, idle for 1 hour(s)]
2723:20201027:190234.257 executing housekeeper
2723:20201027:190240.972 housekeeper [deleted 41939 hist/trends, 0 items/triggers, 7 events, 5 problems, 0 sessions, 0 alarms, 0 audit, 0 records in 6.714017 sec, idle for 1 hour(s)]
2723:20201027:200251.726 executing housekeeper
2723:20201027:200256.681 housekeeper [deleted 41887 hist/trends, 0 items/triggers, 16 events, 1 problems, 0 sessions, 0 alarms, 0 audit, 0 records in 4.953033 sec, idle for 1 hour(s)]
2723:20201027:210307.227 executing housekeeper
2723:20201027:210313.404 housekeeper [deleted 41870 hist/trends, 0 items/triggers, 7 events, 15 problems, 1 sessions, 0 alarms, 0 audit, 0 records in 6.174263 sec, idle for 1 hour(s)]
2723:20201027:220323.361 executing housekeeper
2723:20201027:220328.395 housekeeper [deleted 41941 hist/trends, 0 items/triggers, 0 events, 0 problems, 0 sessions, 0 alarms, 0 audit, 0 records in 5.031466 sec, idle for 1 hour(s)]
2723:20201027:230338.956 executing housekeeper
2723:20201027:230344.637 housekeeper [deleted 41884 hist/trends, 0 items/triggers, 0 events, 1 problems, 0 sessions, 0 alarms, 0 audit, 0 records in 5.678305 sec, idle for 1 hour(s)]
2723:20201028:000354.338 executing housekeeper
2723:20201028:000359.410 housekeeper [deleted 40688 hist/trends, 0 items/triggers, 34 events, 1 problems, 0 sessions, 0 alarms, 1 audit, 0 records in 5.071194 sec, idle for 1 hour(s)]
2723:20201028:010410.006 executing housekeeper
2723:20201028:010415.673 housekeeper [deleted 40876 hist/trends, 0 items/triggers, 43 events, 0 problems, 0 sessions, 0 alarms, 1 audit, 0 records in 5.664823 sec, idle for 1 hour(s)]
2723:20201028:020426.314 executing housekeeper
2723:20201028:020432.699 housekeeper [deleted 41908 hist/trends, 0 items/triggers, 33 events, 0 problems, 0 sessions, 0 alarms, 0 audit, 0 records in 6.384172 sec, idle for 1 hour(s)]
2723:20201028:030443.246 executing housekeeper
2723:20201028:030449.558 housekeeper [deleted 41970 hist/trends, 0 items/triggers, 2 events, 4 problems, 0 sessions, 0 alarms, 0 audit, 0 records in 6.311710 sec, idle for 1 hour(s)]
2723:20201028:040500.109 executing housekeeper
2723:20201028:040505.866 housekeeper [deleted 41873 hist/trends, 0 items/triggers, 2 events, 3 problems, 0 sessions, 0 alarms, 0 audit, 0 records in 5.752221 sec, idle for 1 hour(s)]
2723:20201028:050516.109 executing housekeeper
2723:20201028:050521.840 housekeeper [deleted 41875 hist/trends, 0 items/triggers, 8 events, 1 problems, 0 sessions, 0 alarms, 0 audit, 0 records in 5.730616 sec, idle for 1 hour(s)]
2723:20201028:060532.428 executing housekeeper
2723:20201028:060538.016 housekeeper [deleted 41989 hist/trends, 0 items/triggers, 51 events, 2 problems, 0 sessions, 0 alarms, 0 audit, 0 records in 5.585915 sec, idle for 1 hour(s)]
2723:20201028:070547.903 executing housekeeper
2723:20201028:070553.529 housekeeper [deleted 41853 hist/trends, 0 items/triggers, 51 events, 3 problems, 0 sessions, 0 alarms, 0 audit, 0 records in 5.623519 sec, idle for 1 hour(s)]

[Evgeny N]

neol, хочу высказать слова благодарности что возитесь со мной, большое спасибо. Сегодня проверил, база за сутки не выросла, осталась примерно на том же уровне. Но если есть еще какие советы я с удовольствием выслушаю.

[neol]

Evgeny N, судя по логу очистка как работала, так и работает, так что я думаю у вас всё нормально, просто период хранения великоват. Я сейчас глянул, у меня при 24 новых значения в секунду период хранения истории стоит 7-14 дней (для разных метрик разные значения), а динамики изменений - год и база весит что-то около 3 Гб.

[Evgeny N]

neol, период хранения 90 дней почти для всех метрик у меня.

[neol]

Evgeny N, если проводить аналогии между вашей и моей базой, то ваша по идее вполне может вырасти до ~30 Гб. Видимо вам нужно либо уменьшать срок хранения и/или количество собираемых метрик, либо увеличить интервалы опроса.

[Evgeny N]

neol, база существует уже 8 месяцев, я думал что размер ее стабилизируется, так как сроки хранения метрик 3 месяца, поэтому меня и сподвигло написать это пост/вопрос.

[neol]

Evgeny N, А за эти 8 месяцев метрики/хосты не добавлялись и настройки не изменялись?

[Evgeny N]

neol, Хосты добавлялись с метриками естественно, но основная масса сделана полгода назад. Настройки шаблонов менял на меньшее колличество дней хранимой истории. Хотя... Посмотрел журнал, да, за последние 3 месяцев с 14 до 19,7 восросло колличество запросов в секунду.

Answer 1

[Staruii]

Недостаточно просто выставить значения в веб интерфейсе, нужно в конфиге забикса /etc/zabbix/zabbix_server.conf раскоментировать строчки
HouseKeeperFrequency=X - где X периодичность чистки БД, у меня стоит 1 - значит каждый час чистит, смотри по свей БД возможно если нагрузка высокая можно поставить 8 (раз в 8ч)
и 2ю строчку ниже нужно раскоментить это
MaxHouseKeeperDelete=x - де X количество элементов которые система удаляет за 1 цикл чистки БД, у меня стоит 20000 (тоесть у меня система удаляет 20000 элементов каждый час) Если у тебя много метрики каждый час пишется допустим по 50000 то ставь число > тех значений которые у тебя пишет база в час например 55000. Но тут тоже нужно быть осторожным чтоб при очистке большого количества элементов ресурсов ЖД была достаточно для записи в БД

Comments

[Evgeny N]

С базой более менее разобрался, Ваше решение уже написано в комментрариях к моему вопросу Neol'ом. Размер базы "стабилизировал", но место всё равно потихоньку заканчивается на диске. Может есть идеи по этому поводу?

[Staruii]

Могу предположить что добавляется много новых узлов и в связи с этим их метрики нужно где то хранить, отсюда и рост базы.
Еще есть предположения что в шаблонах стоит период хранения 365 дней и забикс считает их приоритетней настроек хаускипера и хранит 365д вместо 90 как в настройках на скринах, но это предположения, что важнее по приоритету я не нашел информации. Можно в рамках теста в настройках шаблонов тоже выставить период хранения 90дней и посмотреть в течении дня будет ли уменьшаться база.

[Evgeny N]

Staruii, Важнее то что в хаускипере.

Answer 2

[moropsk]

Попробуй сделать так.
https://bestmonitoringtools.com/zabbix-partitionin...