Как убрать повторяющиеся сообщения?

Question

[Иван]

Есть syslog сервер с парсером на python. Слишком часто могут прилететь повторяющиеся события. Как правильно их отфильтровать, что бы не посылать все что прилетело в slack?
пример логов

16:13:53+03:00 1.8.8.8 Action="accept"  inzone="World" outzone="local" rule="7" service_id="http" src="1.17.239.63" dst="1.9.15.20" proto="6" dst_machine_name="btp-galera01"  service="443" s_port="65113"
16:14:53+03:00 1.8.8.8 Action="accept"  inzone="local" outzone="World" rule="8" service_id="http" src="1.9.15.20" dst="1.17.239.63" proto="6" dst_machine_name="sqr_cl-01-eu"  service="443" s_port="65180"

Comments

[bbkmzzzz]

Какие критерии для "слишком часто"?

[Иван]

за одну минут может прилететь от 50 до 100 повторяющихся событий

Answer 1

[pfg21]

написать скрипт - собирать хеш строчек без отметок времени, если хеш повторяется -
дропать строчку. записи хешей дропать каждую минуту.
проги конкретно под твои условия может и не быть.

Comments

[Иван]

Хорошая идея! Спасибо за направление