В чем соль: довольно частенько приходится обезличивать логи, в дальнейшем их шифровать и передавать во внешнюю среду. В связи с этим написал программу, которая с помощью набора регулярных выражений и баз, ищет в логе совпадения (ip, хосты, фамилии, логины и тд) и делает размытие или замену.
Так вот, возможно я неверно формирую запрос к поисковым системам, но не могу найти похожее ПО, на просторах сети. Чтобы посмотреть, как работают другие программы со схожим функционалом.
По поводу того что ты делаешь регулярками. Сильно рискуешь. Всегда есть возможность не увидеть глазами что-то новое в логах и пропустить это. Поскольку мы были со стороны сектора разработки - то мы просто создавали дополнительный логгер и appender которые заранее знают где будет информация которая попадает под GDPR или еще какие-то ограничения и мы подчищали такую информацию на взлёте.
И вот такой вот очищенный лог можно было хранить в хранилищах много лет.
А для улучшения поиска в лог ElasticSearch мы писали записи в формате JSONL (Json - lines) где удобно выделять атрибуты такие как IP/User для анализа.
Как правило, я обрабатываю заранее урезанный лог. Там тоже более очевидные моменты, которые ловлю регулярками. Такая замена как раз помогает пробегаться быстро по знакомым местам и нет. Как бы там не было, полностью доверяю только ручной проверке, в таких моментах.
Простой
