Можно ли подключить дополнительный файл настроек для Elasticsearch?

Question

[Mamol27]

Здравствуйте.
Я сейчас разбираюсь с эластиком, а конкретно дошел до кластеров, и у меня возник вопрос, на который не смог найти инфу на сайте.
У нод в кластере, есть набор параметров, которые одинаковые для всех, по крайней мере у меня так получается.

Так вот можно ли их вынести в отдельный файл и в elasticsearch.yml и других настройках подключать эти файлы?
Или забиндить где-нибудь эти дополнительные файлы, чтобы они считывались до/после основных настроек?

Answer 1

[Vitaly Karasik]

Насколько знаю, сейчас это не поддерживается.
А можно пример, зачем? - обычно конфиги одинаковые.

Comments

[Mamol27]

Ну например, настройки ноды и network уникальны для каждой ноды. А если меняю какие-то настройки кластера, приходится переписывать, вместо того чтобы просто закинуть новый файл(кусок настроек) на все сервера.

[Vitaly Karasik]

ИМХО, для одинакового типа нод (admin, data) единственная уникальная переменная это node.name, и можно использовать

node.name: ${HOSTNAME}

[Mamol27]

Vitaly Karasik, а как быть с network.host ?
Если его не прописать, там будет localhost.

[Vitaly Karasik]

Mamol27, думаю, можно 0.0.0.0

[Mamol27]

Vitaly Karasik, Спасибо

[Vitaly Karasik]

Странно.
Я не работал с 7 версией в Suse, но в принципе никаких секретных настроек нет.

But command /usr/share/elasticsearch/bin/elasticsearch-setup-passwords auto getting me

Failed to determine the health of the cluster running at 172.29.39.111:9200
Unexpected response code [503] from calling GET 172.29.39.111:9200/_cluster/health?pretty
Cause: master_not_discovered_exception

Речь о том, что кластер не работает - master_not_discovered_exception.
Надо посмотреть логи чтобы понять почему, но скорее всего на нодах разные настройки и поэтому они не смогли договориться.

Чтобы откатиться к старому состоянию без security, по-моему достаточно запретить
xpack.security.enabled: false
и перестартовать все ноды.

[Mamol27]

Vitaly Karasik, да. дело в другом.
Сейчас выяснил, проблема не совсем в том, что я описал.

я пытаюсь настроить защиту на кластер, 111 сервер тот, на котором запускаю команду

/usr/share/elasticsearch/bin/elasticsearch-setup-passwords auto.

До того как включаю настройку xpack.security.enabled: true и xpack.security.transport.ssl.enabled: true у меня статус здоровья кластера зеленый.

spoiler

elk-cluster-node1:~ # curl GET http://172.29.39.111:9200/_cluster/health?pretty
curl: (6) Could not resolve host: GET
{
  "cluster_name" : "ELK-CLUSTER",
  "status" : "green",
  "timed_out" : false,
  "number_of_nodes" : 4,
  "number_of_data_nodes" : 2,
  "active_primary_shards" : 8,
  "active_shards" : 16,
  "relocating_shards" : 0,
  "initializing_shards" : 0,
  "unassigned_shards" : 0,
  "delayed_unassigned_shards" : 0,
  "number_of_pending_tasks" : 0,
  "number_of_in_flight_fetch" : 0,
  "task_max_waiting_in_queue_millis" : 0,
  "active_shards_percent_as_number" : 100.0
}

однако после включения

spoiler

elk-cluster-node1:~ # curl GET http://172.29.39.111:9200/_cluster/health?pretty
curl: (6) Could not resolve host: GET
{
  "error" : {
    "root_cause" : [
      {
        "type" : "security_exception",
        "reason" : "missing authentication credentials for REST request [/_cluster/health?pretty]",
        "header" : {
          "WWW-Authenticate" : "Basic realm=\"security\" charset=\"UTF-8\""
        }
      }
    ],
    "type" : "security_exception",
    "reason" : "missing authentication credentials for REST request [/_cluster/health?pretty]",
    "header" : {
      "WWW-Authenticate" : "Basic realm=\"security\" charset=\"UTF-8\""
    }
  },
  "status" : 401
}

Хотя для того чтобы настроить минимальную безопасность, эти параметры должны быть включены, согласно гайду.

И соответственно, команда

/usr/share/elasticsearch/bin/elasticsearch-setup-passwords auto.

не проходит, потому что не может считать состояние здоровья кластера.
Хотя в одну из попыток, здоровье считал, но статус был RED по той же причине.
И выходит что я не могу настроить минимальную безопасность на кластере.

Прошу прощения, предыдущий комментарий потер, так как описание ошибки было неверным и не заметил, что на него уже ответили. вот ссылка на вопрос, который был к нем https://stackoverflow.com/questions/68299344/missi...

[Vitaly Karasik]

Хотя для того чтобы настроить минимальную безопасность, эти параметры должны быть включены, согласно гайду.

Согласен

днако после включения

а включили xpack на всех серверах?

Посмотрите логи - там должно быть подробности.

[Mamol27]

Vitaly Karasik,

а включили xpack на всех серверах?

Да

на 111 серваке

elk-cluster-node1:~ # tail -n 100 /var/log/elasticsearch/ELK-CLUSTER.log
[2021-07-09T15:48:01,893][WARN ][o.e.t.TcpTransport       ] [$HOSTNAME] exception caught on transport layer [Netty4TcpChannel{localAddress=/172.29.39.111:9300, remoteAddress=/172.29.39.113:55522, profile=default}], closing connection
io.netty.handler.codec.DecoderException: javax.net.ssl.SSLHandshakeException: No available authentication scheme
    ...
Caused by: javax.net.ssl.SSLHandshakeException: No available authentication scheme
	...
[2021-07-09T15:48:02,299][WARN ][o.e.t.TcpTransport       ] [$HOSTNAME] exception caught on transport layer [Netty4TcpChannel{localAddress=/172.29.39.111:9300, remoteAddress=/172.29.39.114:54048, profile=default}], closing connection
io.netty.handler.codec.DecoderException: javax.net.ssl.SSLHandshakeException: No available authentication scheme
    ...
Caused by: javax.net.ssl.SSLHandshakeException: No available authentication scheme
	...

на 114 серваке

elk-cluster-node4:~ # tail -n 100 /var/log/elasticsearch/ELK-CLUSTER.log 

[2021-07-09T15:57:31,902][WARN ][o.e.t.TcpTransport       ] [$HOSTNAME] exception caught on transport layer [Netty4TcpChannel{localAddress=/172.29.39.114:9300, remoteAddress=/172.29.39.111:57542, profile=default}], closing connection
io.netty.handler.codec.DecoderException: javax.net.ssl.SSLHandshakeException: No available authentication scheme

Caused by: javax.net.ssl.SSLHandshakeException: No available authentication scheme

[2021-07-09T15:57:32,589][WARN ][o.e.c.c.ClusterFormationFailureHelper] [$HOSTNAME] master not discovered yet: have discovered [{$HOSTNAME}{tjpWl7KYQmKHWBp3RkChUQ}{dgMAWhSYQLGoHJ0BOMMsMQ}{172.29.39.114}{172.29.39.114:9300}{cdfhlrstw}]; discovery will continue using [172.29.39.111:9300, 172.29.39.112:9300, 172.29.39.113:9300] from hosts providers and [] from last-known cluster state; node term 1, last-accepted version 90 in term 1
[2021-07-09T15:57:32,904][WARN ][o.e.t.TcpTransport       ] [$HOSTNAME] exception caught on transport layer [Netty4TcpChannel{localAddress=/172.29.39.114:9300, remoteAddress=/172.29.39.111:57544, profile=default}], closing connection
io.netty.handler.codec.DecoderException: javax.net.ssl.SSLHandshakeException: No available authentication scheme

На всех нодах, за исключением роли, одинаковые настройки. все ноды включены.

[Vitaly Karasik]

] [$HOSTNAME] exception caught on transport layer [Netty4TcpChannel{localAddress=/172.29.39.114:9300, remoteAddress=/172.29.39.111:57542, profile=default}], closing connection
io.netty.handler.codec.DecoderException: javax.net.ssl.SSLHandshakeException: No available authentication scheme

Или я дал неправильный совет, или у вас опечатка в конфиге - похоже, еластик не подставил настоящий hostname.
Проверьте конфиг, поднимите кластер без xpack и посмотрите на GET /_nodes//settings https://www.elastic.co/guide/en/elasticsearch/refe...

https://www.elastic.co/guide/en/elasticsearch/refe... - вроде бы

node.name: ${HOSTNAME}

[Mamol27]

Vitaly Karasik, с этим все в порядке.

spoiler

{"_nodes":{"total":4,"successful":4,"failed":0},"cluster_name":"ELK-CLUSTER","nodes":{"uC5GIM95TLew46pokXn2yQ":{"name":"elk-cluster-node3","transport_address":"172.29.39.113:9300","host":"172.29.39.113","ip":"172.29.39.113","version":"7.13.2","build_flavor":"default","build_type":"rpm","build_hash":"4d960a0733be83dd2543ca018aa4ddc42e956800","roles":["data","data_cold","data_content","data_frozen","data_hot","data_warm","ml","remote_cluster_client","transform"],"attributes":{"ml.machine_memory":"3635412992","ml.max_open_jobs":"512","xpack.installed":"true","ml.max_jvm_size":"1073741824","transform.node":"true"},"settings":{"cluster":{"initial_master_nodes":["172.29.39.111","172.29.39.112"],"name":"ELK-CLUSTER","election":{"strategy":"supports_voting_only"}},"node":{"name":"elk-cluster-node3","pidfile":"/var/run/elasticsearch/elasticsearch.pid","attr":{"transform":{"node":"true"},"xpack":{"installed":"true"},"ml":{"max_jvm_size":"1073741824","machine_memory":"3635412992","max_open_jobs":"512"}},"data":"true","ingest":"false","master":"false"},"path":{"data":["/var/lib/elasticsearch"],"logs":"/var/log/elasticsearch","home":"/usr/share/elasticsearch"},"discovery":{"seed_hosts":["172.29.39.111","172.29.39.112","172.29.39.113","172.29.39.114"]},"action":{"auto_create_index":".monitoring*,.watches,.triggered_watches,.watcher-history*,.ml*"},"client":{"type":"node"},"http":{"type":"security4","port":"9200","type.default":"netty4"},"transport":{"type":"security4","features":{"x-pack":"true"},"type.default":"netty4"},"network":{"host":"0.0.0.0"}}},"uls9FyNCT4uUTWCYz6qRMQ":{"name":"elk-cluster-node1","transport_address":"172.29.39.111:9300","host":"172.29.39.111","ip":"172.29.39.111","version":"7.13.2","build_flavor":"default","build_type":"rpm","build_hash":"4d960a0733be83dd2543ca018aa4ddc42e956800","roles":["master","ml","remote_cluster_client"],"attributes":{"ml.machine_memory":"3635412992","xpack.installed":"true","transform.node":"false","ml.max_open_jobs":"512","ml.max_jvm_size":"1073741824"},"settings":{"cluster":{"initial_master_nodes":["172.29.39.111","172.29.39.112"],"name":"ELK-CLUSTER","election":{"strategy":"supports_voting_only"}},"node":{"name":"elk-cluster-node1","pidfile":"/var/run/elasticsearch/elasticsearch.pid","attr":{"transform":{"node":"false"},"xpack":{"installed":"true"},"ml":{"max_jvm_size":"1073741824","machine_memory":"3635412992","max_open_jobs":"512"}},"data":"false","ingest":"false","master":"true"},"path":{"data":["/var/lib/elasticsearch"],"logs":"/var/log/elasticsearch","home":"/usr/share/elasticsearch"},"discovery":{"seed_hosts":["172.29.39.111","172.29.39.112","172.29.39.113","172.29.39.114"]},"action":{"auto_create_index":".monitoring*,.watches,.triggered_watches,.watcher-history*,.ml*"},"client":{"type":"node"},"http":{"type":"security4","port":"9200","type.default":"netty4"},"transport":{"type":"security4","features":{"x-pack":"true"},"type.default":"netty4"},"network":{"host":"0.0.0.0"}}},"tjpWl7KYQmKHWBp3RkChUQ":{"name":"elk-cluster-node4","transport_address":"172.29.39.114:9300","host":"172.29.39.114","ip":"172.29.39.114","version":"7.13.2","build_flavor":"default","build_type":"rpm","build_hash":"4d960a0733be83dd2543ca018aa4ddc42e956800","roles":["data","data_cold","data_content","data_frozen","data_hot","data_warm","ml","remote_cluster_client","transform"],"attributes":{"ml.machine_memory":"3635412992","ml.max_open_jobs":"512","xpack.installed":"true","ml.max_jvm_size":"1073741824","transform.node":"true"},"settings":{"cluster":{"initial_master_nodes":["172.29.39.111","172.29.39.112"],"name":"ELK-CLUSTER","election":{"strategy":"supports_voting_only"}},"node":{"name":"elk-cluster-node4","pidfile":"/var/run/elasticsearch/elasticsearch.pid","attr":{"transform":{"node":"true"},"xpack":{"installed":"true"},"ml":{"max_jvm_size":"1073741824","machine_memory":"3635412992","max_open_jobs":"512"}},"data":"true","ingest":"false","master":"false"},"path":{"data":["/var/lib/elasticsearch"],"logs":"/var/log/elasticsearch","home":"/usr/share/elasticsearch"},"discovery":{"seed_hosts":["172.29.39.111","172.29.39.112","172.29.39.113","172.29.39.114"]},"action":{"auto_create_index":".monitoring*,.watches,.triggered_watches,.watcher-history*,.ml*"},"client":{"type":"node"},"http":{"type":"security4","port":"9200","type.default":"netty4"},"transport":{"type":"security4","features":{"x-pack":"true"},"type.default":"netty4"},"network":{"host":"0.0.0.0"}}},"O3GNkZk-RkSjzuZKVZbmEw":{"name":"elk-cluster-node2","transport_address":"172.29.39.112:9300","host":"172.29.39.112","ip":"172.29.39.112","version":"7.13.2","build_flavor":"default","build_type":"rpm","build_hash":"4d960a0733be83dd2543ca018aa4ddc42e956800","roles":["master","ml","remote_cluster_client"],"attributes":{"ml.machine_memory":"3635412992","ml.max_open_jobs":"512","xpack.installed":"true","ml.max_jvm_size":"1073741824","transform.node":"false"},"settings":{"cluster":{"initial_master_nodes":["172.29.39.111","172.29.39.112"],"name":"ELK-CLUSTER","election":{"strategy":"supports_voting_only"}},"node":{"name":"elk-cluster-node2","pidfile":"/var/run/elasticsearch/elasticsearch.pid","attr":{"transform":{"node":"false"},"xpack":{"installed":"true"},"ml":{"max_jvm_size":"1073741824","machine_memory":"3635412992","max_open_jobs":"512"}},"data":"false","ingest":"false","master":"true"},"path":{"data":["/var/lib/elasticsearch"],"logs":"/var/log/elasticsearch","home":"/usr/share/elasticsearch"},"discovery":{"seed_hosts":["172.29.39.111","172.29.39.112","172.29.39.113","172.29.39.114"]},"action":{"auto_create_index":".monitoring*,.watches,.triggered_watches,.watcher-history*,.ml*"},"client":{"type":"node"},"http":{"type":"security4","port":"9200","type.default":"netty4"},"transport":{"type":"security4","features":{"x-pack":"true"},"type.default":"netty4"},"network":{"host":"0.0.0.0"}}}}}

Проблемы начинаются, когда включаю x-pack

[Vitaly Karasik]

с этим все в порядке.

вижу :-)

Я не уверен, но если верить https://www.programmersought.com/article/80547158493/ надо вручную создать SSL сертификаты и т.п.
Если не помогает, советую спросить в
https://discuss.elastic.co/c/elastic-stack/elastic...

[Vitaly Karasik]

Я подумал еще и мне кажется что кластер принципиально не может сделать bootstrapping SSL самостоятельно - мы должны сделать и раздать нодам сертификаты или хотя бы CA.
Гляньте в документацию - ИМХО там должно быть про это.

[Mamol27]

Vitaly Karasik, Я разобрался, нужно первый запуск всех нод кластера делать с x-pack без ssl, и сразу сгенерить все пароли и настроить безопасность в принципе.