@acwartz
Тут должна быть ваша реклама.

Куда коммерческому решению уйти от текстовых логов?

Весь вопрос выше.
Логи пишутся в текстовые файлы, обычные журналы прирастают гигабайтами за часы, отладочные за за минуту-две.
Куда от этого можно свалить коммерческому решению? Может есть какой-то open source для посмотреть?

Текст жмется хорошо, но долго, распаковка и поиск по логам тот ещё перфоманс.
Потому критерий поиска:
- емкое хранение
- возможность хотя бы смотреть содержимое винрарных логов, не говоря уже о какой-то пост-процесс-аналитике, фильтрации, категоризации и прочему.
  • Вопрос задан
  • 180 просмотров
Решения вопроса 5
sergey-gornostaev
@sergey-gornostaev
Седой и строгий
ELK
Ответ написан
Комментировать
@PapaStifflera
Родился, вырос...
romesses
@romesses
Backend инженер
Opensource - все делаете сами: разворачивание инфраструктуры, установка, настройка и поддержка.
Filebeat (agent) + ElasticSearch (DB) + Kibana (UI)
Graylog + ElasticSearch

Коммерческие:
Papertrail, Loggly, Logz.io, LogDNA

Гигабайты за часы вам дорого обойдутся. Постарайтесь сократить объем информации, необходимой для журналирования. Периодически выполнять log rotation, настроив retention policy.

возможность хотя бы смотреть содержимое винрарных логов
избавляйтесь от этого кошмара поскорее. Все что актуально - извлечь и скормить системе журналирования и забыть о винрар вообще.
Ответ написан
Комментировать
dimonchik2013
@dimonchik2013
полковник Андрейченко
Clickhouse если жалко денег на память для ELK

на подходе еще Manticore колоночная, но не уверен что обойдет кликхаус
Ответ написан
vabka
@vabka
Токсичный шарпист
Вариант раз: ELK, но придётся выделить кучу памяти (и ОЗУ и на дисках).
Kibana достаточно тяжёлая и может повесить браузер, когда в неё заходишь.

Вариант два: Grafana+Loki, но на очень больших объёмах может быть не очень удобно искать. В принципе зависит от того, как настроишь - решение достаточно гибкое в этом плане.
В качестве БД для него можно использовать Cassandra (единственный self-hosted вариант, если хочется масштабирование) или S3.
Лично мне локи очень понравился, правда у нас логов было не так много.

Вариант три: Всякие коммерческие облачные решения, типа Azure application insights / Datadog / AWS Cloudwatch, но может оказаться очень дорого на таких объёмах, особенно если долго хранить.

Ещё можно навелосипедить на TimescaleDB или Clickhouse, но с ними я не сталкивался, и хз как именно на них можно сделать систему логирования.
Ответ написан
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы