Как вывести таблицу с обращениями из логов к множеству сайтов по IP / Useragent?

Question

[Макс]

Доброго дня!
Есть несколько десятков доменов, мне нужно периодически чекать сколько обращений было опредеелнными юзерагентами к контенту сайтов, в частности GoogleBot-Image / GoogleBot-News / YandexBot , а также ResponseCode.

Сейчас по конкретному домену делаю вот так:

cat domain.net.log | grep -i googlebot-image | awk '{print $9}' | sort | uniq -c | sort -nr
    377 200
     25 301

Не могу сообразить как мне получить список всех лог файлов из папки /var/log/apache2/domains которые попадают под условия (дата изменения + название файла).

Хотелось бы получить соответствующий вывод по списку масок доменов (например задаю не полное название домена, а фрагмент, типа *book*.com ) из файла стороннего или напрямую введенных, в таком виде:

domain_mask | count | response_code
domain1         | 50000| 200
domain1         | 100    | 404
domain2         | 300    | 200
domainN        | N        | n

P.S. Не забудьте оставить контакты, отблагодарю :)

Answer 1

[Stalker_RED]

Почитайте про ELK, возможно это то, что вы ищете.

Видеообзоры с примерами:
https://www.youtube.com/watch?v=Kqs7UcCJquM
https://www.youtube.com/watch?v=4X0WLg05ASw
https://www.youtube.com/watch?v=Hqn5p67uev4

Answer 2

[Владимир Куц]

Ну примерно как-то так:

find ./ -type f -name "<домен>*" -mtime <время последнего изменения файла (в днях)> -exec grep googlebot-image {} \; | awk '{print $9}' | sort | uniq -c | sort -nr | awk '{print "<домен>", $1, $2 }'

Если доменов несколько - то предварительно выполнить поиск по маске домена, вывести уникальные записи в текстовый файл, и обернуть выше приведенную строку скрипта в цикл по домену.
Тогда вместо <домен> будет просто переменная из цикла

while read domain; do
    find ./ -type f -name "${domain}*" -mtime <время последнего изменения файла (в днях)> -exec grep googlebot-image {} \; | awk '{print $9}' | sort | uniq -c | sort -nr | awk '{print "${domain}", $1, $2 }'
done <domains_list.txt

З.Ы. Под рукой консоли нет проверить

Comments

[Макс]

Спасибо.
Сложно.
Буду пробовать.

Answer 3

[Макс]

Еще вариант вывода нашел, тоже без вывода названия файла лога / домена:
{ command1 ; command2 ; command3 } > output.txt

Comments

[Макс]

Еще вот такой вариант нашел, наверное оптимальный, но генерю его руками через Excel шаблон. Как это сделать КРАСИВО?

{ echo "DOMEN1.com";  cat DOMEN1.com.log  | grep -i googlebot-image | awk '{print $9}' | sort | uniq -c | sort -nr ;  echo "DOMEN2.com"; cat DOMEN2.com.log  | grep -i googlebot-image | awk '{print $9}' | sort | uniq -c | sort -nr ;  } > GoogleImages.log