Есть ли способ для угадывания шаблонов в логах?

Question

[Ярослав]

Есть ли какой-то метод (модуль, утилита) как обнаружить шаблоны сообщений в логах? Например, у нас есть лог вроде:

00:00:01 User John logged in from IP 1.1.1.1
00:00:02 User Jack logged in from IP 2.2.2.2
00:00:03 User John sent email to [e-mail]
....

Например, по этому куску должны построиться шаблоны:

<регекс времени> User <регекс юзера> logged in from IP <регекс IP>
<регекс времени> User <регекс юзера> sent email to <регекс email>

Думаю, построить точный регекс по логу, без понимания семантики невозможно (например, допустимы ли у нас русские буквы или цифры в юзернеймах; может ли в IP быть октет со значением больше 255) - фиг с ним, игнорируем эту проблему. Делаем не очень аккуратные регексы - это ОК. Но регекс не должен путать записи одного типа с записями другого.

Идея в том, чтобы взять какой-нибудь mail.log и в нем же будет всего 100-200 типов сообщений от MTA, антиспама, pop3/imap сервера - вот хочется как-то легко разбить все записи на эти вот типы сообщений.

Comments

[d'Ivan]

1. Эвристически?
2. Забить и начать пользоваться FluentD.

[d'Ivan]

Чем обошлось?

[Ярослав]

Román Mirilaczvili, да ничем. Так же. Не нашел другого хорошего и простого решения. Но для себя как костыль для решения той частной проблемы (поиск причины внезапного разбухания лога) сделал простую утилитку topip. Она именно по IP выгрепывает, и пишет самые активные IP. А потом уже грепая по этому IP вижу, что он так активно делает. Получается в два шага, вместо одного, но в целом работает.

Answer 1

[Виктор Голованенко]

Возможно, вам стоит посмотреть, как реализованы анализаторы логов в проекте GoAccess: https://github.com/allinurl/goaccess и взять общие принципы оттуда.

Comments

[Ярослав]

Спасибо! Очень интересно, и как готовый инструмент, и чтоб подход посмотреть.

Answer 2

[mayton2019]

Сомнительно что по огрызку лога ты сможешь нарисовать более-менее полный шаблон. Как вспомогательная подсказка при разработке парсера - это хорошо. Но как авто-генерация парсера логов на все времена - это плохо.
Да и вообще message не специфицирован в логах аж нигде и никогда. Сиди наблюдай его хоть целую неделю а потом на следующей неделе прилетит exception или нечто новое и вся твоя работа будет вечной недоделкой.

Comments

[Ярослав]

Да, согласен. Это не задача строго остуктурировать верлибр лог-файла. Я о ней уже думал как-то, а сегодня она снова возникла, когда mail.log на большом почтовом сервере вылез за сто метров. И хочется как-то с минимумом усилий посмотреть, какой тип сообщений там "доминирует". Например, если быстро получится увидеть, скажем, что из 100 мегов, 40 мегов - это неудачная попытка аутентификации (коннект, неудачная попытка аутентификации, дисконнект) с нескольких IP - это уже бы сэкономило неплохо времени.