Как распарсить лог nginx на статику?

Question

[ekholdthero]

Нужно распарсить лог nginx и получить все расширения файлов, которые запрашиваются

cat access.log | awk '{print $8}' | rev | cut -d'.' -f1 | rev | sort | uniq -c | sort -rn

Команда выводит расширения но вместе с ней и много лишнего мусора, каким образом оптимизировать до вывода только расширений?
Требуется оставить исключительно список расширений и убрать все лишнее

881781 jpg
 159161 png
  96670 html
  94454 webp
  70508 js
  68654 ico
  55866 css
  48728 jpeg
  35943 1
  27878 php
  12441 htm
  12270 2
   9556 gif
   6468 4-wp
   6258 woff?12
   5655 /?utm_source=adbless&utm_medium=cpm&utm_campaign=3126
   5595 3
   5528 /
   5388 /?utm_source=onixz
   4951 xml
   4321 woff?13
   4068 txt

Answer 1

[vreitech]

просто добавьте соответствующий код, который проанализирует строки на предмет того, являются они расширениями или нет.
поскольку вы не указали, что из этого является расширениями, а что нет, буду полагаться на свой опыт.
например, так:

cat access.log | awk '{print $8}' | rev | cut -d'.' -f1 | rev | perl -pe 's/\?.*//;s/^\/$//' | sort | uniq -c | sort -rn

Comments

[ekholdthero]

требуется получить расширения статики при запросах к сайту.
То есть требуется получить исключительно список расширений, без дополнительных страниц, необходимо отсеять из данного отчета все ненужное, например как

8119 LombardSK-038DCF73DF55953E&box=to
   7718 zaimok-0226B22FCC23DB02&box=to
   7634 NurAltyny
   7596 PanaKZ
   7489 585proba
   7488 Altyn2007
   7485 slombard-02E85AEF7AF4C84C&box=to
   7384 esilmk-04B3B571B66710EA&box=to
   7215 MRoyal-03B0B2BBAB4193FE&box=to
   7137 slombard-05BCAA5C6B7D3CEB&box=to
   7012 Extra-034DD7500F496EDC&box=to
   7011 VashStolichny-020098E697801C97&box=from
   6975 VashStolichny-01006E66D8ACC53E&box=from
   6940 MRoyal-023FD6185C88EB4E&box=from
   6901 NurAltyny-1265FAEBADF46706&box=to
   6763 NurAltyny-06F97AB8CADFB363&box=to

[vreitech]

ekholdthero, тогда так:

cat access.log | awk '{print $8}' | rev | cut -d'.' -f1 | rev | perl -pe 's/\?.*//;s/^\/$//;s/.*\&box.*//;s/(?:NurAltyny|PanaKZ|585proba|Altyn2007)//' | sort | uniq -c | sort -rn

[ekholdthero]

vreitech, оно исключает исключительно данные строчки, но таких строчек может быть тысяча и в команду все перечисление вставлять нет смысла

[vreitech]

ekholdthero, значит нужно найти какой-то общий признак, который позволит отделить расширения от нерасширений.

[ekholdthero]

vreitech, удалось получить полный список, если интересно

cat *access.log | awk {'print $8'} | cut -d'.' -f2 | grep -vE "[=|?|0|1|2|5|6|7|8|9|A-Z]" | grep -o -w '\w\{2,4\}' | sort | uniq -c | sort -rn

Answer 2

[ky0]

Добавьте локейшен для статики (прямо перечислив расширения, например), который бы логировал запросы в отдельный файл.