Анализатор логов с возможность dril down по ID?

Question

[Александр]

Требуется - средство по сбору и группировки логов с разных систем / файлов с отображением в веб-интерфейсе.

Предыстория:
Есть 3 системы, каждая из которых пишет логи. Общим полем для всех 3х логов является некий строковый идентификатор.

Что хочется:
Чтобы можно было настроить в веб-интерфейсе поиск по времени и просмотр логов с разных систем по данному идентификатору.

Например:
Ищу события в интервале времени, нахожу нужное - в результатах поисках есть перечень идентификаторов за данный период в виде ссылки. Жму на ссылку - происходит переход на просмотр (разворот спойлера) логов со всех систем по событиям в логах с данным идентификаторам.

Для примера можно посмотреть как похожий функционал реализован в Homer.

Comments

[Александр]

Как сделать такое на ELK - не смог найти.

Answer 1

[Макс]

костыль конечно - но может на уровне БД решить? объединить запись из 3-х систем в 1 по полю. Идентификатор в каждой из систем уникален? получится не спойлер конечно, но что-то близкое к задаче.

Comments

[Александр]

Самопись не хочется городить. Беда в том, что нужно решить несколько задач:
1. Написать правила разбора логов и отправку их в хранилище (это умеет logstash и logstash-forwarder + хранилище в виде elasticsearch)
2. Писать свой гуй - куча времени (запросы к бд - это не удобно)

Пользоваться этим будет не программист.

[Макс]

никто не говорит про свой UI. попробуйте склеить данные в 1 строку - дальше должно хватить ELK.
хотя повторюсь - это тот еще костылище.

[Александр]

Макс: склеить данные с 3х систем в одну строку? Это можно, но мне нужно не этом :)

[Макс]

ну почему - в этом случае Вы ищите по каким-то параметрам - и находите лог сразу по всем трем системам. Не будет "распахивания"