Возможно ли сделать систему логирования из ClickHouse, Logstash и Grafana?

Vitsliputsli, а в прометее можно хранить логи?
Думаю здесь графана больше как предложение, а не необходимость.

Возможно ли сделать систему логирования из ClickHouse, Logstash и Grafana?

Больше интересна сторона интерфейса, например в Graylog он уже есть, а вот как в клике делать интерфейс непонятно

Возможно ли сделать систему логирования из ClickHouse, Logstash и Grafana?

Читал про эту особенность клика, но вроде как вот logstash позволяет писать данные пачками туда.

Возможно ли сделать систему логирования из ClickHouse, Logstash и Grafana?

Спасибо за быстрый ответ!
Подскажите, вы сталкивались на практике с подобным стеком?
И интересно, как организовать UI в Grafana, есть ли какие то готовые решения что бы не пилить с нуля "интерфейс".

Почему падает Graylog при недоступности одной из нод MongoDB?

Евгений Хлебников, ок, написал ответ, возможно кому то будет полезно.
Подскажите, вы делали интеграцию Graylog с AD?
Подключение к серверу есть, а вот аутентификация не проходит.

Как ограничить подключение к MongoDB?

Vamp, спасибо, к БД Graylog я подключения ограничил, все ок
но можно ли еще ограничить подключение по утилите mongosh?
сейчас она без передачи параметров пускает без кредов, но выдает предупреждение:

Access control is not enabled for the database. Read and write access to data and configuration is unrestricted

Как ограничить подключение к MongoDB?

Vamp, да, спасибо, немного почитал о настройке
примерно так будет выглядеть если у Graylog два сервера?

db.updateUser(
  "graylog",
  {
    authenticationRestrictions: [
      {
        clientSource: ["10.223.223.223"],
        serverAddress: ["10.223.223.223"]
      },
      {
        clientSource: ["10.223.223.224"],
        serverAddress: ["10.223.223.224"]
      }
    ]
  }
)

Как ограничить подключение к MongoDB?

т.е. не получится сделать подключения именно к Mongo (в целом) только с определенных ip?

Почему падает Graylog при недоступности одной из нод MongoDB?

Евгений Хлебников, если вы еще здесь, подскажите как сделать ограничение на подключение к реплика сет, что бы можно было подключиться только с определенных ip?

Почему падает Graylog при недоступности одной из нод MongoDB?

Евгений Хлебников, предварительно проблему решил, все оказалось банально...грейлог не умеет работать в HA с конфигурацией с арбитром, только со всеми дата нодами)

Почему падает Graylog при недоступности одной из нод MongoDB?

Евгений Хлебников, перестают поступать логи и выдает такое на веб морде
There was an error fetching a resource: undefined. Additional information: Not available

Затем веб интерфейс совсем недоступен

Вот кстати конфиг RWConcern, может здесь что то не то?

{
defaultReadConcern: { level: 'majority' },
defaultWriteConcern: { w: 2, wtimeout: 0 },
updateOpTime: Timestamp({ t: 1737464488, i: 8 }),
updateWallClockTime: ISODate('2025-01-21T13:01:29.531Z'),
defaultWriteConcernSource: 'global',
defaultReadConcernSource: 'global',
localUpdateWallClockTime: ISODate('2025-01-21T13:09:03.232Z'),
ok: 1,
'$clusterTime': {
clusterTime: Timestamp({ t: 1737465455, i: 2 }),
signature: {
hash: Binary.createFromBase64('AAAAAAAAAAAAAAAAAAAAAAAAAAA=', 0),
keyId: Long('0')
}
},
operationTime: Timestamp({ t: 1737465455, i: 2 })
}

Почему падает Graylog при недоступности одной из нод MongoDB?

Евгений Хлебников, может наподобие этих настроек не хватает?
rs.secondaryOk()
db.getMongo().setReadPref('nearest')
db.getMongo().setSecondaryOk()

Почему падает Graylog при недоступности одной из нод MongoDB?

Евгений Хлебников, с обеих нод грейлога все порты монго доступны

Почему падает Graylog при недоступности одной из нод MongoDB?

Евгений Хлебников, монго - 6.0.16
грейлог - 5.2.8

Почему падает Graylog при недоступности одной из нод MongoDB?

Евгений Хлебников, и еще, с той же ноды с помощью mongosh попадаю верно на примари Mongo, так же написал скрит на питоне, который подключается к монге и тоже все ок

Почему падает Graylog при недоступности одной из нод MongoDB?

Евгений Хлебников,
2025-01-21T13:41:43.424+03:00 INFO [cluster] Exception in monitor thread while connecting to server 10.210.133.01:27017
com.mongodb.MongoSocketOpenException: Exception opening socket
at com.mongodb.internal.connection.SocketStream.open(SocketStream.java:73) ~[graylog.jar:?]
at com.mongodb.internal.connection.InternalStreamConnection.open(InternalStreamConnection.java:183) ~[graylog.jar:?]
at com.mongodb.internal.connection.DefaultServerMonitor$ServerMonitorRunnable.lookupServerDescription(DefaultServerMonitor.java:198) [graylog.jar:?]
at com.mongodb.internal.connection.DefaultServerMonitor$ServerMonitorRunnable.run(DefaultServerMonitor.java:158) [graylog.jar:?]
at java.lang.Thread.run(Unknown Source) [?:?]
Caused by: java.net.ConnectException: Connection refused
at sun.nio.ch.Net.pollConnect(Native Method) ~[?:?]
at sun.nio.ch.Net.pollConnectNow(Unknown Source) ~[?:?]
at sun.nio.ch.NioSocketImpl.timedFinishConnect(Unknown Source) ~[?:?]
at sun.nio.ch.NioSocketImpl.connect(Unknown Source) ~[?:?]
at java.net.SocksSocketImpl.connect(Unknown Source) ~[?:?]
at java.net.Socket.connect(Unknown Source) ~[?:?]
at com.mongodb.internal.connection.SocketStreamHelper.initialize(SocketStreamHelper.java:107) ~[graylog.jar:?]
at com.mongodb.internal.connection.SocketStream.initializeSocket(SocketStream.java:82) ~[graylog.jar:?]
at com.mongodb.internal.connection.SocketStream.open(SocketStream.java:68) ~[graylog.jar:?]
... 4 more

еще этот

2025-01-21T13:41:33.423+03:00 INFO [cluster] Exception in monitor thread while connecting to server 10.210.133.01:27017
com.mongodb.MongoNodeIsRecoveringException: Command failed with error 91 (ShutdownInProgress): 'The server is in quiesce mode and will shut down' on server 10.210.133.01:27017. The full response is {"topologyVersion": {"processId": {"$oid": "678e64a441547cd48ee8c1d8"}, "counter": 10}, "ok": 0.0, "errmsg": "The server is in quiesce mode and will shut down", "code": 91, "codeName": "ShutdownInProgress", "remainingQuiesceTimeMillis": 3472, "$clusterTime": {"clusterTime": {"$timestamp": {"t": 1737456089, "i": 6}}, "signature": {"hash": {"$binary": {"base64": "AAAAAAAAAAAAAAAAAAAAAAAAAAA=", "subType": "00"}}, "keyId": 0}}, "operationTime": {"$timestamp": {"t": 1737456081, "i": 24}}}

Почему падает Graylog при недоступности одной из нод MongoDB?

Евгений Хлебников, в конфиге две дата ноды, пробовал еще прописывать арбитра, но результат не меняется...насчет картинги да, не нашел подходящую схему, поэтому добавил описание

Почему падает Graylog при недоступности одной из нод MongoDB?

Евгений Хлебников, поправил конфиг в вопросе, фаерволл отключен на всех нодах

Почему graylog2 не отображает логи если одна из нод elasticsearch-кластера недоступна?

Если вы еще здесь, подскажите. Мы развернули кластер Graylog и на тех же нодах развернули Mongo. При выключении ноды с Graylog+Mongo - Graylog падает при том, что примари Mongo успешно переезжает и по сути БД остается доступной. Что может быть?

Как решить проблему со статусом "red" кластера OpenSearch?

Показывает состояние шард
[root@uxrudc1s121l ~]# curl -XGET 'localhost:9200/_cat/shards?h=index,shard,prirep,st...'
.plugins-ml-config 0 p UNASSIGNED CLUSTER_RECOVERED
.plugins-ml-config 0 r UNASSIGNED REPLICA_ADDED
.opensearch-observability 0 p UNASSIGNED CLUSTER_RECOVERED
.opensearch-observability 0 r UNASSIGNED REPLICA_ADDED
gl-system-events_deflector 0 p UNASSIGNED CLUSTER_RECOVERED
.opensearch-sap-log-types-config 0 p UNASSIGNED CLUSTER_RECOVERED
.opensearch-sap-log-types-config 0 r UNASSIGNED REPLICA_ADDED
gl-events_0 0 p UNASSIGNED CLUSTER_RECOVERED
graylog_0 0 p UNASSIGNED CLUSTER_RECOVERED