Как настроить логирование медленных запросов в nginx?

Question

[Александр]

Есть сервер с Ubuntu 14.04, на нем стоит Nginx 1.9.4 и разные сервисы с REST API, которые вызываются из внешнего мира через Nginx. Как можно настроить логирование в Nginx, чтобы логировались только медленные запросы? Например, логировать все запросы, которые обрабатываются больше 2-х секунд, включая время ожидания подключения к REST-сервисам?

P.S. Хотелось бы узнать, как настроить именно Nginx (не писать какие-либо парсеры).

Answer 1

[Александр]

В общем, решение такое:
1. Устанавливаем пакет nginx-extras.
2. В конфигурации location пишем:

set $logging 0;
log_by_lua '
    if tonumber(ngx.var.upstream_response_time) >= 2 then
        ngx.var.logging=1
    end;
';

access_log /path/to/log format if=$logging

Всем спасибо за попытку помочь.

Comments

[Антон Пацев]

Подскажите с какой минимальной версии nginx это работает? И можно ли сделать slow логи для всех location в глобальном смысле?

Answer 2

[Влад Животнев]

if ($upstream_response_time !~* "[0-3]\.[0-9][0-9][0-9]" { access_log /file format; }

Как-то так попробуйте.

Comments

[Александр]

Ваше условие всегда true возвращает. Но направление понятно.

[Влад Животнев]

Александр: ну да, особенно не думал. Вообще не всегда true, но чаще, чем надо. ^ добавить стоит и $

[Александр]

Влад Животнев: В общем-то, дело не в правильности регулярки, как оказалось. Там проблема в том, что Nginx, похоже, проверяет это условие на этапе запроса, когда переменная $upstream_response_time еще пустая. Сейчас ищу другие варианты.

[Lynn «Кофеман»]

О, ты подал идею. Можно использовать map и флаг if у директивы access_log. Но мне лень расписывать всё

[Влад Животнев]

Алексей Тен: не, не поможет, map читается при первом обращении к переменной, а access_log директива действительно читается до запроса.

[Lynn «Кофеман»]

Влад Животнев: так нужно читать эту переменную только в if=

map $upstream_response_time $long_request {
..
}

server {
  access_log .... if=$long_request;
}

как-тот так.

Впрочем с Lua ниже тоже нормально

Answer 3

[zorruch]

Бекенд на каком языке написан?
Может быть лучше попытаться использовать slow лог в php-fpm?

Решение "в лоб" для вашей задачи. Писать время выполнения запроса в лог - а потом парсить файл лог файл во время ротейта и "выцеплять" нужные запросы.

Comments

[Александр]

На бэкенде много разных микросервисов, написанных на разных языках.
Мне не хотелось бы делать в каждом из них свое логирование, которое ко всему прочему не показывало бы медленные запросы, которые возникли из-за того, что "все процессы бэкенда заняты и Nginx ждет, когда один из них освободится".
Также не хочется писать гигабайтные логи, в которых будет только 0.1% полезной информации, это уже крайний вариант.
Интересует возможность решения проблемы именно так, как сформулировано в вопросе. Мне кажется наиболее логичным было бы именно такое решение.