Как в ELK-стеке отфильтровать логи Nginx по регулярному выражению?

Question

[Александр]

Здравствуйте, уважаемые. Поднял на днях ELK с целью мониторинга определенных параметров из лога nginx. Настроил Grok, данные идут в нужном формате, в Logstash данные шлет Filebeat. Но не могу понять, в какой из частей стека нужно вбить регулярку, которая будет фильтровать только логи с нужным GET-параметром, т.е. начинающиеся со строки типа /ABC и исключать строки, в которых могут быть данные типа /download/ABC. Сама регулярка простейшая, я это понимаю, но в Кибане я не смог заставить по ней искать данные.

Answer 1

[Александр]

Обновляйте весь ELK-стек до версии 5.1 и будет вам счастье, оно работает

Answer 2

[Макс]

если вас устроит писать не все логи, а только часть - можете фильтровать на Логсташе.
Хотя если устроит вариант "для строки GET, содержащим ХХХ добавить признак, по которому потом в Кибане легко отфильтровать" - то опять-же, это делается в Лосташе. Но первый вариант (писать только нужное) самый хороший. Меньше храним - быстрее ищем.
ну и не забывайте про правильные типы данных и не-анализирование полей, по которым будете искать только по полному совпадению или не будете искать вовсе.

Comments

[Александр]

Можно пример? Может у меня глаз замылен уже, но у меня не получилось заставить эту схему работать. Добавлял в фильтр для нгинкса регулярку.

URIPATHPARAM (^\/ZW).*
NGINXACCESS %{IP:clientip} - - %{SYSLOG5424SD:date} %{IPORHOST:host} GET %{URIPATHPARAM:request} HTTP/%{NUMBER:httpversion} "%{NUMBER:response}" %{NUMBER:bytes} %{QS:referrer} %{QS:agent} %{QS:xforwardedfor_header} \"%{NUMBER:upstream_time:float}"

Вот так он у меня выглядит, не работает

[Макс]

Александр: давайте так, Вы выложите часть filter конфига от логсташа и 2 строки с логами - которую надо и которую НЕ надо обработать, а я постараюсь Вам помочь. Пока grok выглядит нормально. Хотя эти кавычки....

[Александр]

Макс:
Не вопрос, помощь экстрасенсов не ищу)

В логстэше все примитивно:
filter {
mutate { replace => { "type" => "nginx_access" } }
grok {
patterns_dir => "/etc/logstash/patterns/"
match => { "message" => "%{NGINXACCESS}" }
}
date {
match => [ "timestamp" , "dd/MMM/YYYY:HH:mm:ss Z" ]
}
}

Вот нужный лог:

10.16.12.77 - - [26/Dec/2016:17:32:39 +0300] flw.confmusic.xyz GET /ABMwMDBhMD/?name= HTTP/1.1 "200" 2197 "site.com/site_1.xhtml?cmid=43108455" "Opera/9.80 (Android; Opera Mini/20.1.2254/37.9178; U; ms) Presto/2.12.423 Version/12.16" "13.21.75.19" "0.000"

Вот ненужный

14.2.6.76 - - [26/Dec/2016:17:32:40 +0300] a.site.xyz GET /download/ABMwMDBhMD/?name=Elegant.3gp%20%20%20video HTTP/1.1 "200" 130433 "a.site.xyz//download/ABMwMDBhMD/?name=Elegant.3gp%..." "Mozilla/5.0 (Linux; Android 6.0.1; SAMSUNG SM-G610F Build/MMB29K) AppleWebKit/537.36 (KHTML, like Gecko) SamsungBrowser/4.0 Chrome/44.0.2403.133 Mobile Safari/537.36" "-" "0.900"

В обоих логах есть /AB, но с download - не нужен

[Макс]

Александр:
ага... значит родной шаблон используете. тогда предлагаю следующий план - после grok добавляем тест
if [URIPATH] !~ "download" {
mutate {
add_field => { "type" => "not_download" }
}
}

и в разделе output также добавляем проверку:
if [type] == "not_download" {
elasticsearch { ... }
}

т.е. мы проверим, что в пути нет слова download, и если его нет - определим тип записи. В ES запишутся только строки, у которых тип "not_download"

[Александр]

Макс: Спасибо. Так и не завелось, черная магия java-приложений... Но я сделал финт ушами и обновил весь стек до версии 5.1. Заработали нормально регулярки и сортировки

[Макс]

Александр: ну и славно. =) с НГ.

[Александр]

Макс: Взаимно)