Какие базы данных используются для хранения логов?

Question

[Alanzooo]

Насколько я понимаю, простые логи (технические) хранятся в текстовом каком-нибудь файле. А в каких базах хранятся логи, например, транзакции, покупки, онлайн пользователей, действие пользователей/администраторов, не успешные входы, и тому подобное....

Данные, которыми пользуются не только разработчики, но и менеджеры и администраторы.

Answer 1

[Дмитрий Шицков]

Очень размытый вопрос.
Для логов чаще всего используют:

1. ELK
   
2. Graylog
   
3. Loki+Grafana
   

Базы:

1. Elasticsearch
   
2. Clickhouse
   
3. Любые другие
   

Comments

[Alanzooo]

Не совсем логи, просто наверное я не правильно сказал. Суть в том что нужно большое количество данных хранить с нескольких серверов. Приблизительно.10 серверов (nodejs). На каждом онлайн примерно 5к одновременных пользователей будет.

И запись в базу будет очень частая.
Сервер для БД рассчитываю на 1ТБ памяти на данный момент.

[DevMan]

Дмитрий Шицков а когда эластик успел стать базой для хранения данных?

[Дмитрий Шицков]

Alanzooo, хм, понятнее не стало. Пока это все у вас гипотетически, не работает и не проведено нагрузочное тестирование - неизвестно что лучше подойдет вашему продукту.

Стоит начать по-простому, если SQL и часто пишем, мало запрашиваем - postgresql
Если много запрашиваем и мало пишем - clickhouse.
А дальше все это правильно готовить нужно. Возможно, нужны оба решения. Возможно, нужна ещё и Kafka перед записью в БД.

[Дмитрий Шицков]

DevMan, эх, блин, ну базой конечно не корректно его называть, но хранение документов он обеспечивает. Да и речь вроде про логи сперва была, а не абстрактные данные.

[DevMan]

Дмитрий Шицков, да пофигу логи или нет: эластик – поисковый движок, а не стор для пользовательских данных.

[Василий Банников]

Loki - это не совсем БД.
Под капотом он использует кассандру, либо S3+Influx

[Василий Банников]

DevMan, почему нет? Знаю одну компанию, где еластик используется как основное хранилище для базы знаний. Никакого другого SQL/noSQL рядом не стоит.

[Дмитрий Шицков]

Василий Банников, Loki - не БД, это так, я его привел как пример системы для работы с логами. Под капотом он может использовать, действительно, разные движки для хранения индексов и логов

[DevMan]

Василий Банников, потому что не совсем разумно использовать для этого эластик, есть более лучшие альтернативы.

Answer 2

[Василий Банников]

А в каких базах хранятся логи, например, транзакции, покупки, онлайн пользователей, действие пользователей/администраторов, не успешные входы, и тому подобное....

Такое можно хранить в той же базе, где и всё остальное, но если таких данных очень много, то можно использовать какую-нибудь time-series базу данных.

Например TimeScaleDB или InfluxDB
Ещё для подобного можно использовать Cassanrda - у неё очень интересная модель хранения данных, которую можно подстроить для подобных логов.

Answer 3

[zohan1993]

Elasticsearch
Clickhouse

Comments

[Alanzooo]

Это как я понял не базы данных а какие то программы поверх бд?

[Василий Банников]

Alanzooo, обде являются субд, но специфичными.
Elastic - для поиска и индексации по куче параметров
Clickhouse - колоночная бд

Answer 4

[h4r7w3l1]

Спросите для начала какой формат логов, Вы же не думаете что это просто строки?

https://messagetemplates.org/

Ознакомитесь с популярными практиками, проблемами и подходами, выберите подходящий под вашу задачу/ЯП лог провайдера. (в целом все structured logs это довольно универсальная штука, и запихнуть ее в тот-же elk не должно вызвать проблем)

Логи это не просто строка данных, они должны быть информативными и удобными для анализа, выборок по значимых элементам и тд.

Далее уже вопрос об их кол-ве, сроке хранения и тому подобное. Прежде чем "куда", узнайте "как" это делать.