Как исключить ботов из логов?

Question

[webviktor]

Подскажите пожалуйста, как исключить запросы ВСЕХ ботов из логов ?

Везде пишут о конструкции типа :

map $http_user_agent $exbot_ua {
~Pingdom 0;
~Googlebot 0;
~Baiduspider 0;
~YandexBot 0;
~YandexImages 0;
~AhrefsBot 0;
default 1;
}

Если бот именуется ЕКЛМН - согласен, нужно добавить вручную, а как отшить всех *bot* *spider* ?
Глупо же всех поименно перечислять.

Спасибо

Comments

[sim3x]

Логируйте все обращения
При получении статистики - фильтруйте

Answer 1

[ky0]

Реализовывать такое внутри конфига нгинкса - не самый лучший вариант, имхо. Проще пост-фактум грепать логи и складывать выхлоп уже без ботов.

Comments

[webviktor]

Почему плохо ? Нагрузку будет создавать ?

И возможно есть скрипт для создания "выхлопа" без ботов ?

[ky0]

webviktor, по сравнению с обычной записью логов их фильтрация - разумеется, будет значительно более затратна по ресурсам. Но дело даже не в этом, а в том, что веб-сервер идеологически не предназначен для таких манипуляций, соответственно - и возможностей в нём для этого по сравнению со специализированными решениями или даже просто системными утилитами гораздо меньше.

Готового скрипта у меня нет, но по-моему, довольно несложно однострочником сgrep -v 'bot1\|bot2\|etc' реализовать такую сортировку. Если же вам нужен более интеллектуальный анализ - стоит посмотреть на штуки вроде goaccess.

[webviktor]

Понятно, хотя как по мне, не совсем логично. Ведь сам вебсервер формирует эти логи. Логично было бы, чтоб он имел более широкие возможности их управлением.
Ведь игнорить определенный юзер-агент гораздо проще, чем парсить его в итоговом файле.

За наводку goaccess спасибо, поковыряю.