Как правильно настроить NGINX, чтобы не заблокировать поисковых роботов?

Question

[PendalF89]

Здравствуйте!
Настраиваю Nginx чтобы избежать примитивных DDoS-атак, но при этом не хочу случайно заблокировать поисковых роботов. Сейчас настроено так:

http {
	limit_req_zone $binary_remote_addr zone=one:10m rate=10r/s;
	# ...
	server {
	    location / {
	        limit_req zone=one burst=20 nodelay;
	        # ...
	    }
	}
}

При текущей конфигурации с 1 ip адреса может быть до 10 запросов в секунду с интвервалом в 100мс на каждый запрос. При этом, может быть единовременный "всплеск" до 20 одномоментных запросов, после чего каждый новый запрос так же будет обрабатываться с интервалом в 100мс.

Достаточно ли такой конфигурации, чтобы не забанить поисковых роботов Google и Яндекс?

Comments

[Виктор Таран]

if ($http_user_agent ~* (робот|ещеодин|иещеодин|иеще) ) {
тут че вам нужно
}

[PendalF89]

Виктор Таран, в идеальном и честном мире да, такой вариант бы сработал. Также, этот вариант сработает против никому не нужных роботов типа semrush, megaindex, petalbot и пр. Но ничто не мешает злоумышленнику представляться поисковыми роботами Яндекса и Гугла.

[Виктор Таран]

PendalF89, ну а как вы собираетесь их отличить ?
Ограничить скорость не хочу, по юзерагенту не хочу.
А по какому критерию вы еще собираетесь выцепить робот
Давайте определимся с критериями отбора для начала

[PendalF89]

Виктор Таран, как вариант, с помощью обратного DNS-запроса: https://yandex.ru/support/webmaster/robot-workings...

Answer 1

[ky0]

В robots.txt можно указать лимиты на частоту запросов - кто это не учитывает, тот сам виноват.

Comments

[PendalF89]

Можно, но я не хочу ограничивать роботов Яндекса и Гугла, поэтому и спрашиваю какая частота для них достаточная, чтобы ненароком не отправить их в бан.

[Рамис]

PendalF89, Вебмастер Яндекс

[ky0]

PendalF89, я бы подошёл с другой стороны - и добавил диапазоны адресов поисковиков в исключения.

[PendalF89]

Рамис, я знаю про эти настройки, но не хочу ограничивать роботов Яндекса и Гугла, поэтому и спрашиваю какая частота для них достаточная, чтобы ненароком не отправить их в бан.

ky0, это интересная мысль, но нет официальных списков ip-адресов поисковых роботов. Но принадлежность роботов к Яндексу можно определить с помощью обратного DNS-запроса: https://yandex.ru/support/webmaster/robot-workings...

Насчёт Гугла пока не знаю, но думаю схема будет примерно такая же

[Рамис]

PendalF89, Мой конфиг, проблем с роботами нет.

limit_req_zone $binary_remote_addr zone=limit_default:10m rate=5r/s;
location /
limit_req zone=limit_default burst=20 nodelay;

[PendalF89]

Рамис, Спасибо!