--conf-path вывода nginx -V?/var/www/html/site.ru/public/ и попытаться его открыть по имени site.ru/file.html, вы получите 404 ошибку и запись в логе, что не существует файла /var/www/html/file.html?
grep -v 'bot1\|bot2\|etc' реализовать такую сортировку. Если же вам нужен более интеллектуальный анализ - стоит посмотреть на штуки вроде goaccess.
net30 начиная с версии 2.3 рекомендуют менять на subnet. И директиву client-to-client ещё посмотрите, но она глобальная.
if ($time_iso8601 ~ "^(\d{4})-(\d{2})-(\d{2})T(\d{2}):(\d{2}):(\d{2})") {
set $year $1;
set $month $2;
set $day $3;
set $hour $4;
set $minutes $5;
set $seconds $6;
}
access_log /var/log/nginx/$year-$month-$day-access.log;