Как решить проблему со статусом «red» кластера OpenSearch?

Question

[dmvlch_dev]

Всем привет!

Собрал кластер Opensearch состоящий из трех нод, две дата ноды и один кластер менеджер.

ip            heap.percent ram.percent cpu load_1m load_5m load_15m node.role node.roles      cluster_manager name
10.220.101.40           18          93   0    0.03    0.07     0.03 di        data,ingest     -               opensearch-d1
10.220.101.7            58          95   0    0.05    0.07     0.02 m         cluster_manager *               opensearch-cluster_manager
10.220.101.41           30          93   0    0.19    0.29     0.24 di        data,ingest     -               opensearch-d2

При этом статус кластера находится в "red"

{
  "cluster_name": "graylog",
  "status": "red",
  "timed_out": false,
  "number_of_nodes": 3,
  "number_of_data_nodes": 2,
  "discovered_master": true,
  "discovered_cluster_manager": true,
  "active_primary_shards": 0,
  "active_shards": 0,
  "relocating_shards": 0,
  "initializing_shards": 0,
  "unassigned_shards": 10,
  "delayed_unassigned_shards": 0,
  "number_of_pending_tasks": 0,
  "number_of_in_flight_fetch": 0,
  "task_max_waiting_in_queue_millis": 0,
  "active_shards_percent_as_number": 0.0
}

Вот конфиги трех нод

Cluster manager:

cluster.name: graylog
node.name: opensearch-cluster_manager
node.roles: [ cluster_manager ]
path.data: /var/lib/opensearch
path.logs: /var/log/opensearch
network.host: 10.220.101.7            
discovery.seed_hosts: ["10.220.101.40", "10.220.101.7", "10.220.101.41"]
cluster.initial_cluster_manager_nodes: ["opensearch-cluster_manager", "opensearch-d1", "opensearch-d2"]
plugins.security.disabled: true

dn1:

cluster.name: graylog
node.name: opensearch-d1
node.roles: [ data, ingest ]
path.data: /data/opensearch
path.logs: /var/log/opensearch
network.host: 10.220.101.40
discovery.seed_hosts: ["10.220.101.40","10.220.101.7", "10.220.101.41"]
cluster.initial_cluster_manager_nodes: ["opensearch-cluster_manager", "opensearch-d1", "opensearch-d2"]
plugins.security.disabled: true

dn2:

cluster.name: graylog
node.name: opensearch-d2
node.roles: [ data, ingest ]
path.data: /data/opensearch
path.logs: /var/log/opensearch
network.host: 10.220.101.41
discovery.seed_hosts: ["10.220.101.40", "10.220.101.7", "10.220.101.41"]
cluster.initial_cluster_manager_nodes: ["opensearch-cluster_manager", "opensearch-d1", "opensearch-d2"]
plugins.security.disabled: true

В логах не нашел каких то явных проблем.

Что нужно сделать, что бы привести состояние кластера в рабочее состояние, с OpenSearch до этого не сталкивался?

Answer 1

[d'Ivan]

Упал один из узлов с данными.

"unassigned_shards": 10,

Нужно смотреть на логи самого OS на том узле, что упал, чтобы знать причину сбоя. Возможно, закончилось место на диске.
OpenSearch на AWS или on premise?

Comments

[dmvlch_dev]

on premise
место на диске есть, из логов на дата ноде единственное что было и то не критично возможно:

systemd-entrypoint[145090]: WARNING: Using incubator modules: jdk.incubator.vector
systemd-entrypoint[145090]: WARNING: A terminally deprecated method in java.lang.System has been called
systemd-entrypoint[145090]: WARNING: System::setSecurityManager has been called by org.opensearch.bootstrap.OpenSearch (file:/usr/share/opensearch/lib/opensearch-2.13.0>
systemd-entrypoint[145090]: WARNING: Please consider reporting this to the maintainers of org.opensearch.bootstrap.OpenSearch
systemd-entrypoint[145090]: WARNING: System::setSecurityManager will be removed in a future release
systemd-entrypoint[145090]: Oct 21, 2024 11:03:08 AM sun.util.locale.provider.LocaleProviderAdapter
systemd-entrypoint[145090]: WARNING: COMPAT locale provider will be removed in a future release
systemd-entrypoint[145090]: WARNING: A terminally deprecated method in java.lang.System has been called
systemd-entrypoint[145090]: WARNING: System::setSecurityManager has been called by org.opensearch.bootstrap.Security (file:/usr/share/opensearch/lib/opensearch-2.13.0.j>
systemd-entrypoint[145090]: WARNING: Please consider reporting this to the maintainers of org.opensearch.bootstrap.Security
systemd-entrypoint[145090]: WARNING: System::setSecurityManager will be removed in a future release

[d'Ivan]

Из логов видно только предупреждения, а не ошибки. Должны быть причины того, что узел перестал быть видным в кластере.
Посмотри что есть в логах мастер узла.

[dmvlch_dev]

Everything_is_not_so_bad, единственное что нашел на мастере
[2024-10-22T17:14:42,585][WARN ][o.o.s.SecurityAnalyticsPlugin] [opensearch-cluster_manager] Failed to initialize LogType config index and builtin log types

Но я не думаю, что это является причиной статуса red

[dmvlch_dev]

Показывает состояние шард
[root@uxrudc1s121l ~]# curl -XGET 'localhost:9200/_cat/shards?h=index,shard,prirep,st...'
.plugins-ml-config 0 p UNASSIGNED CLUSTER_RECOVERED
.plugins-ml-config 0 r UNASSIGNED REPLICA_ADDED
.opensearch-observability 0 p UNASSIGNED CLUSTER_RECOVERED
.opensearch-observability 0 r UNASSIGNED REPLICA_ADDED
gl-system-events_deflector 0 p UNASSIGNED CLUSTER_RECOVERED
.opensearch-sap-log-types-config 0 p UNASSIGNED CLUSTER_RECOVERED
.opensearch-sap-log-types-config 0 r UNASSIGNED REPLICA_ADDED
gl-events_0 0 p UNASSIGNED CLUSTER_RECOVERED
graylog_0 0 p UNASSIGNED CLUSTER_RECOVERED