Парсинг лога nginx, на долгоиграющие скрипты?

Question

[cru5ader]

Всем привет, не получается распарсить лог nginx на долгоиграющие скрипты. допустим больше 10 секунд

1.5.3.255 - - [18/Mar/2017:00:01:23 +0300] 42833825/6 200    3.561/3.561s        621/766b        1.23x - TLSv1.2-.       -       "GET /ib1/rest/v1/getCli
8.2.1.1 - - [18/Mar/2017:00:01:23 +0300]  42833684/7  200    10.007/0.007s        5133/3241b      1.29x - TLSv1.2-.       -       "POST /ib1/wf1/retail/ca

меня интересует значение к примеру 10.007/0.007s,

В запросе:

awk '$8 > 10 {print }' /web_logs/nginx/access.old | awk '{print $8 " " $15}' | sort | uniq -c | sort -rn |head -20

выводятся данные, где время выполнения меньше 10 секунд, т.е. с значением 3.561/3.561s
Как правильно будет распарсить данные?

Answer 1

[Михаил Конюхов]

awk '{print $8, $NF}' log | sed -E 's@([0-9]+)\.([0-9]+)/@\1.\2 @g' | awk '{if ($1 > 10) print $0}' |  sort | uniq -c | sort -rn |head -20

вывод по вашему примеру:
1 10.007 0.007s /ib1/wf1/retail/ca

Comments

[cru5ader]

Большое спасибо, только я не пойму, как у Вас вывелось на экран значение /ib1/wf1/retail/ca

[cru5ader]

Разобрался сам) еще раз большое спасибо!

[Михаил Конюхов]

cru5ader: мне было лень считать колонки, я написал $NF :-)

[cru5ader]

Михаил Конюхов: хороший подход :-)

[Михаил Конюхов]

cru5ader: если колонок прибавится - подход сломается)

[cru5ader]

Михаил Конюхов: спасибо, не знал про эту возможность, почитал man sed )

Answer 2

[Saboteur]

sed -r 's/([0-9]*\.[0-9]*)\/([0-9]*\.[0-9]*)s/\1 \2/' access.txt | awk '$8 > 10 {print}'