Как побороть несовместимость версий elasticsearch и его fluent плагина?

Question

[Никита Кит]

Пытаюсь развернуть центральное логирование
Использую докер образы:
docker.elastic.co/elasticsearch/elasticsearch:8.11.3
docker.elastic.co/kibana/kibana:8.11.3
fluent/fluentd:v1.16-debian-1
fluent-plugin-elasticsearch -v 5.3.0

При попытке отправить лог происходит такая ошибка:

error_class=Fluent::Plugin::ElasticsearchOutput::RecoverableRequestFailure error=\"could not push logs to Elasticsearch cluster ({:host=>\\\"elasticsearch\\\", :port=>9200, :scheme=>\\\"http\\\", :user=>\\\"elastic\\\", :password=>\\\"obfuscated\\\"}): [400] {\\\"error\\\":{\\\"root_cause\\\":[{\\\"type\\\":\\\"media_type_header_exception\\\",\\\"reason\\\":\\\"Invalid media-type value on headers [Content-Type, Accept]\\\"}],\\\"type\\\":\\\"media_type_header_exception\\\",\\\"reason\\\":\\\"Invalid media-type value on headers [Content-Type, Accept]\\\",\\\"caused_by\\\":{\\\"type\\\":\\\"status_exception\\\",\\\"reason\\\":\\\"Content-Type version must be either version 8 or 7, but found 9. Content-Type=application/vnd.elasticsearch+x-ndjson; compatible-with=9\\\"}},\\\"status\\\":400}\""}

Пробовал подпилить конфиг:

<match service.**>
  @type elasticsearch
  verify_es_version_at_startup false
  default_elasticsearch_version 8
  content_type application/json
  prefer_oj_serializer true

Пробовал переход на версию 9.0.0 для es и 6.0.0 для плагина.
Ничего не помогло.
Кто использует этот стэк, подскажите какие версии вы используете?

Comments

[Никита Кит]

Отбой, нашёл решение в этом issue
https://github.com/uken/fluent-plugin-elasticsearc...

[shurshur]

Никита Кит, правильное поведение: написать это в ответы и отметить решением. ЧТобы люди, которые найдут это поиском, сразу же получали его.

[Никита Кит]

shurshur, отмечать решением свой ответ на свой же вопрос? А это точно не зашкварно?)

[chupasaurus]

Никита Кит, Абсолютно нет.

[d-stream]

Возможно более феншуйным было бы пользовать logstash как входную точку. То есть чтобы флюент не гадил напрямую в эластик, а в логстэш. Да, появится ещё одно звено, но в то же время это звено узкоспециализировано на приём логов и донесение их до эластика (который не будет доступен за пределами этой связки).