Как определить количество запросов в секунду на nginx?

Question

[Игорь Петров]

Доброго времени суток, необходимо определить количество запросов в секунду сервера nginx через консоль с использованием именно логов, так как имеется множество виртуальных доменов на одном сервере, и определение через status не имеет смысла. Есть команда tail -f /var/log/nginx/mydomain.ru.access.log | pv -lr -i 1 >/dev/null, но она показывает все в реальном времени без остановки процесса, а необходимо в режиме реального времени получить всего лишь 1 ответ с остановкой процесса, в документации к PV ничего подобного найти не смог, подскажите пожалуйста, может есть другие варианты определения количества запросов, буду очень признателен.

Answer 1

[zohan1993]

cat /var/log/nginx/mydomain.ru.access.log | awk '{print $1}' | uniq -c | sort -rn

     34 "2020-11-24T10:44:19+00:00"
     21 "2020-11-24T10:36:11+00:00"
     21 "2020-11-24T10:29:59+00:00"

awk '{print $1}' - выбираем из лога только время ( например $time_iso8601 )
uniq -c - считаем количество уникальных записей, по сути количество запросов в секунду
sort -rn - сортировка вывода

Comments

[Игорь Петров]

Таким способом мы получаем список IP адресов, и количество запросов с них:
372170 x.114.x.x
146640 x.114.x.x
56751 x.114.x.x
34789 x.114.x.x
15792 x.114.x.x
4958 x.114.x.x
603 x.114.x.x
26 x.114.x.x
7 x.169.252.x
6 x.114.x.x
3 x.211.52.x
2 x.163.255.x
2 x.55.39.x
1 x.163.255.x

[Игорь Петров]

Необходимо получить количество запросов в секунду с лога, чтобы было только число, без других данных

[zohan1993]

это пример
тестил на логах nginx с нестандартным log_format
при стандартном будет - awk '{print $4}'

попробуйте так

cat /var/log/nginx/mydomain.ru.access.log | awk '{print $4}' | uniq -c | sort -rn | awk '{print $1}' | head -n 1

[Игорь Петров]

zohan1993, Таким образом он считает не в режиме реального времени, а подсчет идет за какой то период. Необходимо в запросить данные именно в ту секунду, в которую была отправлена команда.

[zohan1993]

команда выводит максимальное количество запросов в секунду которая была найдена в логе
но исходя из этого можно подстраивать под ваши нужды

[Игорь Петров]

zohan1993, Но решение так и не найдено :) как вывести командой именно в настоящее время реальное количество запросов в секунду? :)

[zohan1993]

Игорь Петров,

DATE=$(date '+%d/%b/%Y:%H:%M:%S'); grep $DATE /var/log/nginx/mydomain.ru.access.log | wc -l

присваиваем переменной DATE время в таком же формате как и в логе nginx (время запуска команды)
ищем все строки содержащие это время
считаем количество этих строк

[Игорь Петров]

zohan1993, Спасибо! Данное решение помогло решить задачу

Answer 2

[ky0]

Глобально - это делается не через консоль, а каким-нибудь ПО соответствующей направленности - тем же ELK, например. Проиндексирует все ваши логи и покажет красивые графики - хоть по количеству запросов, хоть по чему.

Comments

[Игорь Петров]

Задача стоит не в том что вы предложили, а необходимо вывести только число, без всяких графиков, красивые графики можно построить на VTS+prometheus+Grafana, но этого мне не нужно.
Предоставленная мной команда это делает, но она работает в режиме реалтайма, а мне необходимо по запросу (крону) получать количество запросов в секунду.

[ky0]

Игорь Петров, ну, тогда берёте - и грепаете логи, делов-то. Если это для какого-то мониторинга, то рекомендую всё-таки обойтись без костылей. Есть прекрасный модуль для этого, показывающий и общие цифры, и по серверами отдельно - https://github.com/vozlt/nginx-module-vts

[Игорь Петров]

ky0, Про него вам я и написал выше, мне необходимо именно в консоли вывести количество запросов в секунду с лога, а спарсить с VTS та еще проблема, так как через JSON он не может вывести количество запросов в секунду на отдельном виртуальном домене.

[ky0]

Игорь Петров,

Про него вам я и написал выше

да, не заметил, извините.

через JSON он не может вывести количество запросов в секунду на отдельном виртуальном домене

Ещё как может, просто надо распарсить соответствующий элемент. Сделать это можно каким-нибудь jq или чем-то подобным. У нас именно таким образом, за давностью лет, организован мониторинг.

Как-то вот так это выглядит:

curl -sk "$1/control?cmd=status&group=server&zone=$3" --header "Host: $2" | jq -c '."$3"'

Переменные, соответственно, {$NGINX_STAT_URL}", "{$NGINX_STAT_HOST}"," {#SERVERNAME}. Оттуда выдёргиваем нужный показатель.

[Игорь Петров]

ky0, Таким образом он тоже выводит все данные из json для домена, в том числе количество запросов по всем кодам 2хх,3хх, и т.д, но задача все же стоит другая :(, решения в гугле и документации к VTS так и не нашел.

[Игорь Петров]

ky0, Может я допускаю ошибки, буду очень признателен если подскажите где, команду ввожу следующую:

curl -sk "http://mydomain/status/control?cmd=status&group=server&zone=mydomain.ru" --header "Host: myhostname" | jq -c '."mydomain.ru"'

На выходе получаю следующее:

{"requestCounter":567384,"inBytes":19898788,"outBytes":142982379,"responses":{"1xx":0,"2xx":567380,"3xx":0,"4xx":4,"5xx":0,"miss":0,"bypass":0,"expired":0,"stale":0,"updating":0,"revalidated":0,"hit":0,"scarce":0},"requestMsecCounter":19019477,"requestMsec":0,"requestMsecs":{"times":[1606252294406,1606252294409,1606252294410,1606252294412,1606252294414,1606252294416,1606252294416,1606252294419,1606252294419,1606252294422,1606252294422,1606252294422,1606252294424,1606252294426,1606252294429,1606252294430,1606252294431,1606252294433,1606252294434,1606252294436,1606252294436,1606252294438,1606252294438,1606252294438,1606252294440,1606252294443,1606252294443,1606252294444,1606252294447,1606252294448,1606252294448,1606252294450,1606252294453,1606252294454,1606252294454,1606252294455,1606252294456,1606252294458,1606252294458,1606252294463,1606252294463,1606252294463,1606252294464,1606252294468,1606252294468,1606252294468,1606252294469,1606252294470,1606252294474,1606252294474,1606252294476,1606252294478,1606252294479,1606252294481,1606252294482,1606252294482,1606252295185,1606252295187,1606252295187,1606252295187,1606252295189,1606252295190,1606252295193],"msecs":[31,32,33,33,33,32,34,34,33,34,33,32,32,32,33,33,32,33,35,33,33,32,30,31,31,31,31,30,33,31,32,30,33,31,30,31,30,30,30,32,31,31,30,30,33,30,30,29,31,30,29,31,31,31,31,30,32,31,31,30,30,30,31]},"requestBuckets":{"msecs":[],"counters":[]},"overCounts":{"maxIntegerSize":18446744073709552000,"requestCounter":0,"inBytes":0,"outBytes":0,"1xx":0,"2xx":0,"3xx":0,"4xx":0,"5xx":0,"miss":0,"bypass":0,"expired":0,"stale":0,"updating":0,"revalidated":0,"hit":0,"scarce":0,"requestMsecCounter":0}}