Коллеги, прошу помощи.
есть Logstash на AWS.
на входе файлики логами от CloudFront, посреди фильтр
filter {
if ([message] =~ /^#/) {
drop{}
}
grok {
type => "cloudfront"
pattern => "%{DATE_EU:date}\t%{TIME:time}\t%{WORD:x_edge_location}\t(?:%{NUMBER:sc_bytes}|-)\t%{IPORHOST:c_ip}\t%{WORD:cs_method}\t%{HOSTNAME:cs_host}\t%{NOTSPACE:cs_uri_stem}\t%{NUMBER:sc_status}\t%{GREEDYDATA:cs_referrer}\t%{GREEDYDATA:cs_User_Agent}\t%{GREEDYDATA:cs_uri_query}\t%{GREEDYDATA:cs_cookies}\t%{WORD:x_edge_result_type}\t%{NOTSPACE:x_edge_request_id}\t%{HOSTNAME:x_host_header}\t%{URIPROTO:cs_protocol}\t%{INT:cs_bytes}\t%{GREEDYDATA:time_taken}\t%{GREEDYDATA:x_forwarded_for}\t%{GREEDYDATA:ssl_protocol}\t%{GREEDYDATA:ssl_cipher}\t%{GREEDYDATA:x_edge_response_result_type}"
}
mutate {
type => "cloudfront"
add_field => [ "_timestamp", "%{date} %{time}" ]
}
date {
type => "cloudfront"
match => [ "_timestamp", "YY-MM-dd HH:mm:ss" ]
target => "@timestamp"
}
}
на выходе все это валится в эластик. И вот в среднем 1 из 10 000 строчек читается криво - с середины. Как следствие поля съезжают, При этом внешне строка выглядит вполне нормально.
WTF?