Как правильно блокировать ботов NGINX на уровне сервера?

Question

[Царёв Вадим]

В access.log пишет пролезают боты
SemrushBot/6~bl
bingbot/2.0
YandexBot/3.0

(compatible; SemrushBot/6~bl; +http://www.semrush.com/bot.html)
(compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
 (compatible; YandexBot/3.0; +http://yandex.com/bots)

я блокировал в nginx.conf

include /etc/nginx/conf.d/*.conf;
	
	#Список ботов
	map $http_user_agent $limit_bots {
     default 0;
		 ~*(SemrushBot|SemrushBot/6~bl|YandexBot|YandexBot/3.0|bingbot|bingbot/2.0) 1;
    }

в site.ru.conf

location / { 
    if ($limit_bots = 1) { return 403;}
    if (!-e $request_filename){
      rewrite ^/sitemap.xml$ /sitemap.php;
      rewrite ^/sitemap(\d+).xml$ /sitemap$1.php;
    }
  }

уже ставил и так и сяк SemrushBot|SemrushBot/6~bl
В access.log не абсолютный путь такого плана
- [15/Aug/2020:10:29:14 +0200] "GET /categ/tovar-13.html HTTP/1.1" 403 153 "-" "Mozilla/5.0 (compatible; SemrushBot/6~bl; +www.semrush.com/bot.html)"

403 не грузит сервер ? Спасибо

Answer 1

[ky0]

Таким образом ботов блокировать бессмысленно. Те, которые честно про себя пишут в юзерагенте - обычно не запрашивают агрессивно и плюс-минус уважают то, что написано в robots.txt. Подавляющее большинство парсеров, которые фигачат как не в себя - притворяются обычными браузерами.

Comments

[Царёв Вадим]

а как лучше?

[ky0]

Царёв Вадим, да никак, в общем-то. Блокировать нужно то, что приносит проблемы. Если какой-то пользователь, не важно - бот или обычный человек, создаёт слишком большую нагрузку, нужно его ограничивать. Но делать это в nginx лучше с помощью limit_req + fail2ban, например, а не бана по юзерагенту.

[alekssamos]

Царёв Вадим, Почитай *это*

Answer 2

[kocherman]

Какой nginx? Зачем nginx? Твой выбор: Cloudflare / recaptcha!