Как найти аналог моей программы?

Question

[Владимир Юрченков]

(*извините, если вопрос задан некорректно)

В чем соль: довольно частенько приходится обезличивать логи, в дальнейшем их шифровать и передавать во внешнюю среду. В связи с этим написал программу, которая с помощью набора регулярных выражений и баз, ищет в логе совпадения (ip, хосты, фамилии, логины и тд) и делает размытие или замену.

Так вот, возможно я неверно формирую запрос к поисковым системам, но не могу найти похожее ПО, на просторах сети. Чтобы посмотреть, как работают другие программы со схожим функционалом.

Comments

[Viktor T2]

анонимайзер, деперсоналайзер
https://github.com/search?q=depersonalize
https://github.com/search?q=anonymize

Спец для логов
https://github.com/search?q=anonymize+log

Помимо этого есть фэйкеры
для генерации фальшивых данных
типа имен, адресов и т.п. всего
https://github.com/search?q=faker

[Владимир Юрченков]

Viktor T2, в целом там ничего нового при быстром просмотре. А написать фейкер не составит труда при замене моей программой. НО спасибо!

Answer 1

[mayton2019]

Мы это называли - "отбеливанием" данных.

По поводу того что ты делаешь регулярками. Сильно рискуешь. Всегда есть возможность не увидеть глазами что-то новое в логах и пропустить это. Поскольку мы были со стороны сектора разработки - то мы просто создавали дополнительный логгер и appender которые заранее знают где будет информация которая попадает под GDPR или еще какие-то ограничения и мы подчищали такую информацию на взлёте.

И вот такой вот очищенный лог можно было хранить в хранилищах много лет.

А для улучшения поиска в лог ElasticSearch мы писали записи в формате JSONL (Json - lines) где удобно выделять атрибуты такие как IP/User для анализа.

Comments

[Владимир Юрченков]

Как правило, я обрабатываю заранее урезанный лог. Там тоже более очевидные моменты, которые ловлю регулярками. Такая замена как раз помогает пробегаться быстро по знакомым местам и нет. Как бы там не было, полностью доверяю только ручной проверке, в таких моментах.