Какое есть веб-приложение для поиска по лог-файлам?

У нас есть распределенная веб-система, которая пишет очень много логов. Мы сделали так, что все логи сливаются на один сервер. Посоветуйте веб-приложение для поиска в логах.
Хочется объединять логи в группы. А искать по строке, периоду дат и группе. Чтобы система не пересматривала все логи, а искала только в нужных (согласно группе и периоду). В данный момент период задается в имени файла (например api_201401.log - январь 2014), но мы конечно можем подстроиться под систему поиска и поменять формат имени файла.
Внутри файла тоже формат специфический. Как правило записи в логах многострочные, но каждая строка начинается с даты, времени и некого идентификатора сессии.
Например:
2014-01-01 00:00:02 [f5400c] Bla-bla-bla...
Хочется при нахождении строки также выводить все строчки лога данной сессии.
Существует ли система, которая может решить данную задачу или писать свое? Или есть хорошая система и при некотором изменении наших логов, она может решить данную задачу? Спасибо.
  • Вопрос задан
  • 3406 просмотров
Решения вопроса 1
AutomationD
@AutomationD
Мы используем logstash + elasticsearch + kibana - прекрасное решение, realtime, full context search, теги и алерты.
Ответ написан
Пригласить эксперта
Ответы на вопрос 2
@bondbig
Бесплатная версия splunk, если уложитесь в лимит 500 мегабайт логов в день.
Ну а так из opensource - logstash + elasticsearch+kibana или graylog + elasticsearch
Еще у HP есть продукт ArcSight Logger, бесплатен до 750Мб/сутки.
Ответ написан
Комментировать
kenny_opennix
@kenny_opennix
если ваша система умеет писать в syslog, то легко организовать syslog серверв с веб мордочкой.
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы