EPIDEMIASH
@EPIDEMIASH
Человек швейцарский нож

Как найти аналог моей программы?

(*извините, если вопрос задан некорректно)

В чем соль: довольно частенько приходится обезличивать логи, в дальнейшем их шифровать и передавать во внешнюю среду. В связи с этим написал программу, которая с помощью набора регулярных выражений и баз, ищет в логе совпадения (ip, хосты, фамилии, логины и тд) и делает размытие или замену.

Так вот, возможно я неверно формирую запрос к поисковым системам, но не могу найти похожее ПО, на просторах сети. Чтобы посмотреть, как работают другие программы со схожим функционалом.
  • Вопрос задан
  • 406 просмотров
Пригласить эксперта
Ответы на вопрос 1
mayton2019
@mayton2019
Bigdata Engineer
Мы это называли - "отбеливанием" данных.

По поводу того что ты делаешь регулярками. Сильно рискуешь. Всегда есть возможность не увидеть глазами что-то новое в логах и пропустить это. Поскольку мы были со стороны сектора разработки - то мы просто создавали дополнительный логгер и appender которые заранее знают где будет информация которая попадает под GDPR или еще какие-то ограничения и мы подчищали такую информацию на взлёте.

И вот такой вот очищенный лог можно было хранить в хранилищах много лет.

А для улучшения поиска в лог ElasticSearch мы писали записи в формате JSONL (Json - lines) где удобно выделять атрибуты такие как IP/User для анализа.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы