Куда коммерческому решению уйти от текстовых логов?

Question

[acwartz]

Весь вопрос выше.
Логи пишутся в текстовые файлы, обычные журналы прирастают гигабайтами за часы, отладочные за за минуту-две.
Куда от этого можно свалить коммерческому решению? Может есть какой-то open source для посмотреть?

Текст жмется хорошо, но долго, распаковка и поиск по логам тот ещё перфоманс.
Потому критерий поиска:
- емкое хранение
- возможность хотя бы смотреть содержимое винрарных логов, не говоря уже о какой-то пост-процесс-аналитике, фильтрации, категоризации и прочему.

Comments

[ComodoHacker]

Не понятно, в чем именно проблема. Если у вас много информации в логах, от смены формата ее меньше не станет. Может, не нужно так много писать в логи?

Answer 1

[Сергей Горностаев]

ELK

Answer 2

[Папа Стифлера]

loki: https://grafana.com/oss/loki/

Comments

[Dimonchik]

ага, пожелаем ТС удачи и терпения,
впрочем, когда тратишь не свое...

[acwartz]

Dimonchik, а чего с ним не так? Не с отвечающим разумеется))

[Dimonchik]

да нормас, даже статейки есть от Баду

впрочем, у тех на первом месте непропадание логов от кучи шардов, может, с этим хорошо справляется

Answer 3

[Ромзес Панагиотис]

Opensource - все делаете сами: разворачивание инфраструктуры, установка, настройка и поддержка.
Filebeat (agent) + ElasticSearch (DB) + Kibana (UI)
Graylog + ElasticSearch

Коммерческие:
Papertrail, Loggly, Logz.io, LogDNA

Гигабайты за часы вам дорого обойдутся. Постарайтесь сократить объем информации, необходимой для журналирования. Периодически выполнять log rotation, настроив retention policy.

возможность хотя бы смотреть содержимое винрарных логов

избавляйтесь от этого кошмара поскорее. Все что актуально - извлечь и скормить системе журналирования и забыть о винрар вообще.

Answer 4

[Dimonchik]

Clickhouse если жалко денег на память для ELK

на подходе еще Manticore колоночная, но не уверен что обойдет кликхаус

Comments

[acwartz]

а много жрет? Или потому что java?
кликхаус читал про него, однако оно standalone или у кого-то в облаках?

[Василий Банников]

acwartz, standalone, но можно и SaaS взять у того же яндекса.

Answer 5

[Василий Банников]

Вариант раз: ELK, но придётся выделить кучу памяти (и ОЗУ и на дисках).
Kibana достаточно тяжёлая и может повесить браузер, когда в неё заходишь.

Вариант два: Grafana+Loki, но на очень больших объёмах может быть не очень удобно искать. В принципе зависит от того, как настроишь - решение достаточно гибкое в этом плане.
В качестве БД для него можно использовать Cassandra (единственный self-hosted вариант, если хочется масштабирование) или S3.
Лично мне локи очень понравился, правда у нас логов было не так много.

Вариант три: Всякие коммерческие облачные решения, типа Azure application insights / Datadog / AWS Cloudwatch, но может оказаться очень дорого на таких объёмах, особенно если долго хранить.

Ещё можно навелосипедить на TimescaleDB или Clickhouse, но с ними я не сталкивался, и хз как именно на них можно сделать систему логирования.

Comments

[Ромзес Панагиотис]

TimescaleDB и Clickhouse для метрик ведь, а не для журналирования. Ну разве только если производить разбор текста на ссоставные части и заносить по колонкам или аттрибутам.

[Василий Банников]

Ромзес Панагиотис, ну вот на счёт таймскейла я сомневаюсь. что можно сделать логи, да. А почему в кликхаусе нельзя?
Можно же сделать колонки для всяких меток, типа Timestamp / Level / StatusCode / EventId, а всё остальное в текстовую колонку затолкать?

[Ромзес Панагиотис]

Василий Банников,
запихать то можно. А искать по логам как? Это же не решение для FTS.

[Василий Банников]

Ромзес Панагиотис, clickhouse же умеет в поиск в тексте. Хз правда на счёт эффективности, но если заранее отфильтровать по структурированным полям, должно быть не супер критично, разве нет?
Вот даже пример подобного использования есть: https://habr.com/ru/post/304602/
(хотя UPDATE в начале намекает)

UPDATE из будущего: Не используйте этот подход! Для поиска логов намного лучше подходит простой поиск по регулярному выражению или подстроке встроенными средствами ClickHouse. Эта статья была написана давно, как интересный эксперимент, и у меня на тот момент не. было полного понимания того, как ClickHouse работает и как его лучше всего готовить. Я вас предупредил. Привет участникам телеграм-чатика «ClickHouse не тормозит»!

А полнотекстовые индексы - это очень дорого, в чём можно убедиться на примере ELK.