Как убрать fields в filebeat?

Question

[cooler_white]

Добрый день.
Столкнулся с проблемой: мне нужно убрать лишние поля, которые получает filebeat, но чтобы я не делал ничего не работает. proccessors, уже куда только не ставил, но не получилось. прошу помочь

# Needed for Graylog
fields_under_root: true
fields.collector_node_id: ${sidecar.nodeName}
fields.gl2_source_collector: ${sidecar.nodeId}

output.logstash:
   hosts: ["localhost:5045"]
path:
  data: C:\Program Files\Graylog\sidecar\cache\filebeat\data
  logs: C:\Program Files\Graylog\sidecar\logs

filebeat.inputs:
  - type: log
    paths:
      - C:\log1\adapter.log
    encoding: windows-1251
  
  - type: log
    paths:  
      - C:\log2\adapter.log
    tags: ["2"]
    encoding: windows-1251

  - type: log
    paths:
      - C:\logs3\service.log
    tags: ["3"]
    encoding: windows-1251

processors:
  - drop_fields:
      fields: ["filebeat_agent_version", "filebeat_ecs_version"]

Answer 1

[Vitaly Karasik]

Выглядит правильно.
filebeat перезагружали?
Есть что-то в логах?

Comments

[cooler_white]

перезагрузил все сервисы, в yaml редакторе проверил, в логах есть такая штука

2022-08-09T09:38:20.081+0300	WARN	beater/filebeat.go:381	Filebeat is unable to load the Ingest Node pipelines for the configured modules because the Elasticsearch output is not configured/enabled. If you have already loaded the Ingest Node pipelines or are using Logstash pipelines, you can ignore this warning.

[Vitaly Karasik]

Не знаю, что посоветовать, кроме как включить logging.level: debug (https://www.elastic.co/guide/en/beats/filebeat/cur...).
У меня, к сожалению, нет под рукой ELK для теста.

Answer 2

[cooler_white]

Решил проблему с отбросом лишних полей. Это можно сделать в pipelines. Просто создается новый пайп, далее выбираем поток, который нужно "редактировать", я использую простой шаблон

rule "remove filebeat_agent_version"
when
  has_field("filebeat_agent_version")
then
  // the following date format assumes there's no time zone in the string
  remove_field("filebeat_agent_version");
end