Какая система логов лучше?

Question

[Илья Родионов]

Коллеги, добрый день.
Подскажите, какая система логов в данном случае подйдет лучше? Я смотрю в сторону grafana+loki, но кажется тут не все так прозначно и настройка какого-нибудь elk выйдет проще, чем моя предложенная схема. А может вообще проще graylog?

задача стоит следующая: есть логфайл, который необходимо определенным способом парсить и отрисовывать графики в гарфане/елк/где-либо еще:

1.StartDate,StartTime,EndDate,EndTime:
-общее количество сторок, подходящих по заданным временным условиям сортировки
-дельта между StartDate,StartTime и EndDate,EndTime, т.е время сессии
2. Organization:
-количество совпадений за период
3. IP
-количество совпадений по всем рязрядам ip адреса
-количество совпадений по всем рязрядам ip адреса кроме 4

Я не уверен, что графана сможет сделать подобное, даже в связке с loki. Что бы вы посоветовали?

Пример лога:

StartDate','StartTime','EndDate','EndTime','IP','MediaID','SubscriberLogin','device','uTimeStart','uTimeEnd','Organization
2020/03/27','10:53:34','2020/03/27','10:55:48','192.168.0.1','3221227049','prod.19003c8d9a9b415ea8729255bab92097','DmpPlayer/20.0.25.13_(Android_8.0.0;_91d24574-1cf9-40e7-88e1-ff0ecc270d01;_ANE-LX1)','1585295614','1585295748','"Providername1"
2020/03/27','10:58:18','2020/03/27','10:59:30','192.168.0.2','3221227049','prod.19003c8d9a9b415ea8729255bab92097','DmpPlayer/20.0.25.13_(Android_8.0.0;_91d24574-1cf9-40e7-88e1-ff0ecc270d01;_ANE-LX1)','1585295898','1585295970','"Providername2"
2020/03/27','10:52:16','2020/03/27','10:53:31','192.168.0.3','3221230099','prod.19003c8d9a9b415ea8729255bab92097','DmpPlayer/20.0.25.13_(Android_8.0.0;_91d24574-1cf9-40e7-88e1-ff0ecc270d01;_ANE-LX1)','1585295536','1585295611','"Providername3"
2020/03/22','19:37:03','2020/03/22','20:46:20','91.186.109.163','3221226087','unknown_4610','','1584895023','1584899180','"undefined"

Answer 1

[ky0]

Попробуйте ELK, а когда у вас в ней не получится что-то конкретное - приходите и задавайте более чётко сформулированные вопросы. "Какая система лучше" - это не то, на что можно однозначно ответить.

Comments

[Илья Родионов]

хорошо:
какая система поддерживает вывод графиков по кастомному логу?

какую архитектуру стоит использовать, чтобы на вход она получала этот лог, парсила по нему данные и на выходе я получал графики по заданным параметрам.

[ky0]

Илья Родионов, любая, для этого предназначенная. Вы, мне кажется, зачем-то совмещаете систему агрегации и хранения (в ELK Stack это Elastic) с средством отображения (в ELK - Kibana, но можно прикрутить и графану).

Если логи сложены подходящим для построения статистики и графиков виде (нормально настроен маппинг полей и т. д.), то задача отобразить - становится довольно тривиальной.

Короткий ответ - то, что вам нужно из наиболее знакомых мне систем точно умеет ELK. Попробуйте, первоначальная настройка хорошо описана в документации.

Answer 2

[Dimonchik]

ELK проще всего

систем таких буквально две-три в разных сочетаниях ( в том числе с Грейлогом),
борьба в сочетаниях в основном с потерей логов / недостаточно быстро записью

начните с ELK так как по ней больше всего документации, другое для более нагруженных проектов