Сейчас вообще принято индексировать логи в движках для полнотекстового поиска и подчищать за ненадобностью. Чаще всего используют
logstash fluentd flume с
Kibana, индексируется эт всё в
ElasticSearch. Всё автоматом обновляется в реальном времени, можно даже красивые кастомные графики рисовать на любой вкус.
Вот и
вот есть немного устаревшие примеры использования. Kibana сейчас является одним из основных инструментов для обработки логов в Яндексе.
