Почему падает Graylog при недоступности одной из нод MongoDB?

Question

[dmvlch_dev]

Всем привет!
Развернут кластер Graylog, состоящий из трех нод Opensearch, трех нод MongoDB и двух нод Graylog.
MongoDB развернуты на тех же нодах, что и Graylog.
При отключении одного экземпляра MongoDB (primary) Graylog падает.
При этом примари успешно переезжает на другую ноду MongoDB и к ней можно подключиться.
В этот момент Graylog пытается даже подключиться к Mongo арбитру, но к новому примари нет.
Graylog в логах пишет:
Exception in monitor thread while connecting to server 10.210.133.01:27017
com.mongodb.MongoSocketOpenException: Exception opening socket
Строка подключения к Mongo выглядит так:

mongodb_uri = mongodb://graylog:password@10.210.133.01:27017,10.210.133.02:27017/graylog?replicaSet=graylog&readPreference=primaryPreferred&w=1&journal=true&wtimeoutMS=5000

Comments

[Евгений Хлебников]

вероятно какая то ошибка в строке подключения к монго в конфиге грейлога - ваш конфиг неизвестен
или недоступность secondary ноды для грейлога - мы не знаем как у вас настроен файрвол между нодами и как устроена коннективити

[dmvlch_dev]

Евгений Хлебников, поправил конфиг в вопросе, фаерволл отключен на всех нодах

[Евгений Хлебников]

dmvlch_dev, стало еще менее понятно
в конфиге две ноды монги указаны. Возможно они и есть примари и арбитр?

И, кстати, в вопросе указано что грейлогов два - а на схеме их три

[dmvlch_dev]

Евгений Хлебников, в конфиге две дата ноды, пробовал еще прописывать арбитра, но результат не меняется...насчет картинги да, не нашел подходящую схему, поэтому добавил описание

[Евгений Хлебников]

dmvlch_dev, насколько я помню, в конекшн стринге должны быть все ноды репликасета, клиент монги в грейлоге сам разберется куда идти
поправьте, перезапустите грейлоги, и приведите ошибку из логов грейлога при выпадании праймари ноды

[dmvlch_dev]

Евгений Хлебников,
2025-01-21T13:41:43.424+03:00 INFO [cluster] Exception in monitor thread while connecting to server 10.210.133.01:27017
com.mongodb.MongoSocketOpenException: Exception opening socket
at com.mongodb.internal.connection.SocketStream.open(SocketStream.java:73) ~[graylog.jar:?]
at com.mongodb.internal.connection.InternalStreamConnection.open(InternalStreamConnection.java:183) ~[graylog.jar:?]
at com.mongodb.internal.connection.DefaultServerMonitor$ServerMonitorRunnable.lookupServerDescription(DefaultServerMonitor.java:198) [graylog.jar:?]
at com.mongodb.internal.connection.DefaultServerMonitor$ServerMonitorRunnable.run(DefaultServerMonitor.java:158) [graylog.jar:?]
at java.lang.Thread.run(Unknown Source) [?:?]
Caused by: java.net.ConnectException: Connection refused
at sun.nio.ch.Net.pollConnect(Native Method) ~[?:?]
at sun.nio.ch.Net.pollConnectNow(Unknown Source) ~[?:?]
at sun.nio.ch.NioSocketImpl.timedFinishConnect(Unknown Source) ~[?:?]
at sun.nio.ch.NioSocketImpl.connect(Unknown Source) ~[?:?]
at java.net.SocksSocketImpl.connect(Unknown Source) ~[?:?]
at java.net.Socket.connect(Unknown Source) ~[?:?]
at com.mongodb.internal.connection.SocketStreamHelper.initialize(SocketStreamHelper.java:107) ~[graylog.jar:?]
at com.mongodb.internal.connection.SocketStream.initializeSocket(SocketStream.java:82) ~[graylog.jar:?]
at com.mongodb.internal.connection.SocketStream.open(SocketStream.java:68) ~[graylog.jar:?]
... 4 more

еще этот

2025-01-21T13:41:33.423+03:00 INFO [cluster] Exception in monitor thread while connecting to server 10.210.133.01:27017
com.mongodb.MongoNodeIsRecoveringException: Command failed with error 91 (ShutdownInProgress): 'The server is in quiesce mode and will shut down' on server 10.210.133.01:27017. The full response is {"topologyVersion": {"processId": {"$oid": "678e64a441547cd48ee8c1d8"}, "counter": 10}, "ok": 0.0, "errmsg": "The server is in quiesce mode and will shut down", "code": 91, "codeName": "ShutdownInProgress", "remainingQuiesceTimeMillis": 3472, "$clusterTime": {"clusterTime": {"$timestamp": {"t": 1737456089, "i": 6}}, "signature": {"hash": {"$binary": {"base64": "AAAAAAAAAAAAAAAAAAAAAAAAAAA=", "subType": "00"}}, "keyId": 0}}, "operationTime": {"$timestamp": {"t": 1737456081, "i": 24}}}

[dmvlch_dev]

Евгений Хлебников, и еще, с той же ноды с помощью mongosh попадаю верно на примари Mongo, так же написал скрит на питоне, который подключается к монге и тоже все ок

[Евгений Хлебников]

dmvlch_dev, пока действительно непонятно
а версии грейлога и монги?

[dmvlch_dev]

Евгений Хлебников, монго - 6.0.16
грейлог - 5.2.8

[Евгений Хлебников]

проведите тесты доступности монги: с каждой ноды грейлога telnet на порт монги на каждой ноде монги (включая собственную)
10.210.133.01:27017
10.210.133.02:27017
10.210.133.03:27017

[dmvlch_dev]

Евгений Хлебников, с обеих нод грейлога все порты монго доступны

[dmvlch_dev]

Евгений Хлебников, может наподобие этих настроек не хватает?
rs.secondaryOk()
db.getMongo().setReadPref('nearest')
db.getMongo().setSecondaryOk()

[Евгений Хлебников]

dmvlch_dev, ну, по моему, в вашей версии монги .setSecondaryOk() уже deprecated
И вообще эти параметры относятся к возможности чтения с секондари ноды, а у вас грейлог "падает" (в чем кстати выражается падение? сервис выключается или просто эксепшены сыплет непрерывно?)

[dmvlch_dev]

Евгений Хлебников, перестают поступать логи и выдает такое на веб морде
There was an error fetching a resource: undefined. Additional information: Not available

Затем веб интерфейс совсем недоступен

Вот кстати конфиг RWConcern, может здесь что то не то?

{
defaultReadConcern: { level: 'majority' },
defaultWriteConcern: { w: 2, wtimeout: 0 },
updateOpTime: Timestamp({ t: 1737464488, i: 8 }),
updateWallClockTime: ISODate('2025-01-21T13:01:29.531Z'),
defaultWriteConcernSource: 'global',
defaultReadConcernSource: 'global',
localUpdateWallClockTime: ISODate('2025-01-21T13:09:03.232Z'),
ok: 1,
'$clusterTime': {
clusterTime: Timestamp({ t: 1737465455, i: 2 }),
signature: {
hash: Binary.createFromBase64('AAAAAAAAAAAAAAAAAAAAAAAAAAA=', 0),
keyId: Long('0')
}
},
operationTime: Timestamp({ t: 1737465455, i: 2 })
}