Как проанализировать логи на корректность выполнения списка действий в задачах?

Question

[Артем Килеев]

Есть большой объем логов (порядка 2 Тб). В логах есть записи о выполнении определенных процессов. Для каждого процесса есть свой лог-файл. Каждый процесс периодически выполняет какую-то задачу, в которой есть действие 1, действие 2 и т.д. Иногда эти процессы падают. Надо проанализировать логи и узнать что действия в задачах были выполнены в нужной последовательности. Каким средствами можно это сделать?

Я пробовал Apache Spark, но не могу понять как в нем сгруппировать действия по задачам. Дело в том что до некоторых пор в логах не записывались идентификаторы задач в действиях или записывались только для некоторых.

Answer 1

[Вадим Шаталов]

Для обработки логов ELK очень хорош

Comments

[Артем Килеев]

Здравствуйте. Например, имеется лог (между такими строками может быть много других):

1 action1
2 action2
3 action1
4 action2
5 action3

Как в ELK построить такой запрос чтобы на выходе получались группы (1 action1, 2 action2), (3 action1, 4 action2, 5 action3)?

Answer 2

[Dimonchik]

Серьезные пацаны юзают Clickhouse, там и тип хранилища под логи уже пропилили

ELK даже не вчерашний день

Comments

[Артем Килеев]

В комментарии на предыдущий ответ я привел пример лога:

1 action1
2 action2
3 action1
4 action2
5 action3

Как в Clickhouse сгруппировать строки лога чтобы получить группы из строк (1, 2) и строк (3, 4, 5)? Мне нужно разделить эти группы, т.к. для меня группа (1, 2) это некорректно завершившаяся задача, а (3, 4, 5) корректно завершившая задача.

[Dimonchik]

group by

where

и функция сравнения

там mysql ситаксис

[Артем Килеев]

А если признака для группировки нет. Например,

1 action1 123456
2 action2
3 action1 456789
4 action2 456789
5 action3 456789

Где число в конце это некий идентификатор задачи.

[Dimonchik]

там есть поиск в строке