Почему в Kibana не появляются данные?

Question

[enotys]

####
## INPUT descriptions:
##
## File input
## read laravel logs continuously and tags laravel-logs
<source>
  type tail
  path /home/enot/handler/storage/logs/**.log
  pos_file /tmp/fluentd.laravel-logs.pos
  tag tail_ex.*.${hostname}
  #format /^\[(?<time>[^\]]*)\] (?<level_name>[^:]+)\: (?<message>.+)/
  format /^(?<message>.*)$/
  time_format %d-%b-%Y %H:%M:%S %z
</source>

## File input
## read apache logs with tag=apache.access
<source>
  type tail
  format apache
  path /var/log/access.log
  tag apache.access
</source>

## File input
## read laravel logs continuously and tags laravel-logs
<source>
  type tail
  format nginx
  time_format %d/%b/%Y:%H:%M:%S %z
  path /var/log/nginx/kibana.log
  pos_file /tmp/fluentd.nginx-kibana-logs.pos
  tag nginx-kibana-logs
</source>

## File input
## read laravel logs continuously and tags laravel-logs
<source>
  type tail
  format nginx
  time_format %d/%b/%Y:%H:%M:%S %z
  path /var/log/nginx/error.log
  pos_file /tmp/fluentd.nginx-logs.pos
  tag nginx-logs
  read_from_head true
</source>



############################### DEBUG ###########################

<source>
 type syslog
 port 5140
 tag  system
</source>
<match system.*.*>
 type record_reformer
 tag elasticsearch
 facility ${tag_parts[1]}
 severity ${tag_parts[2]}
</match>
<match elasticsearch>
 type copy
 <store>
   type stdout
 </store>
 <store>
 type elasticsearch
 logstash_format true
 flush_interval 5s #debug
 </store>
</match>

Есть конфиг для td-agent elasticsearche сидит на 80 порту. Kibana 3.1.0 видит его и некоторые данные скажем из syslog которые. Но из фалов с помощью плагина in_tail и tail_ex данные в elsaticsearch не попадают и соответственно в Kibana не видно. Кто сталкивался с похожими проблемами ?

Answer 1

[slden]

https://docs.fluentd.org/output/elasticsearch
Попробуй отправлять данные в ES, придерживаясь шаблонного конфиг.

Comments

[Антон Жуков]

Спасибо за ответ. Но вопрос был задан более 3 лет назад. Проект уже давным давно мёртв :)