Как заблокировать определенные боты в Nginx?

Question

[Дилик Пулатов]

Добрый день!
Мне нужно блокировать все боты кроме поисковые боты или боты соц.сета
например нужно пропустить боты Google, Yandex, Yahoo и т.д и нужно чтобы ссылки моего сайта работал в соц.сетях. Имею в виду это когда ссылку вставляю в соц.сетах, по моему бот соц.сета берут данные из моего сайта(title, descriptions и т.д)
Например это в телеграме вот так работает

это по моему боты делают так?

А остальные боты нужно блокировать....так как из-за эти боты на сервер идет большая нагрузка...и иногда сервер падает
В Nginx понят не имею как это сделать. Помогите пожалуйста(с примером если можно).
В стековерфлов нашол такое но говорят что это и блокирует поисковые боты

map $http_user_agent $limit_bots {
     default 0;
     ~*(google|bing|yandex|msnbot) 1;
     ~*(AltaVista|Googlebot|Slurp|BlackWidow|Bot|ChinaClaw|Custo|DISCo|Download|Demon|eCatch|EirGrabber|EmailSiphon|EmailWolf|SuperHTTP|Surfbot|WebWhacker) 1;
     ~*(Express|WebPictures|ExtractorPro|EyeNetIE|FlashGet|GetRight|GetWeb!|Go!Zilla|Go-Ahead-Got-It|GrabNet|Grafula|HMView|Go!Zilla|Go-Ahead-Got-It) 1;
     ~*(rafula|HMView|HTTrack|Stripper|Sucker|Indy|InterGET|Ninja|JetCar|Spider|larbin|LeechFTP|Downloader|tool|Navroad|NearSite|NetAnts|tAkeOut|WWWOFFLE) 1;
     ~*(GrabNet|NetSpider|Vampire|NetZIP|Octopus|Offline|PageGrabber|Foto|pavuk|pcBrowser|RealDownload|ReGet|SiteSnagger|SmartDownload|SuperBot|WebSpider) 1;
     ~*(Teleport|VoidEYE|Collector|WebAuto|WebCopier|WebFetch|WebGo|WebLeacher|WebReaper|WebSauger|eXtractor|Quester|WebStripper|WebZIP|Wget|Widow|Zeus) 1;
     ~*(Twengabot|htmlparser|libwww|Python|perl|urllib|scan|Curl|email|PycURL|Pyth|PyQ|WebCollector|WebCopy|webcraw) 1;
 } 

location / {
  if ($limit_bots = 1) {
    return 403;
  }
}

Answer 1

[Page-Audit.ru]

map $http_user_agent $limit_bots {
     default 0;
     ~*(AltaVista|BlackWidow|Bot|ChinaClaw|Custo|DISCo|Download|Demon|eCatch|EirGrabber|EmailSiphon|EmailWolf|SuperHTTP|Surfbot|WebWhacker) 1;
     ~*(Express|WebPictures|ExtractorPro|EyeNetIE|FlashGet|GetRight|GetWeb!|Go!Zilla|Go-Ahead-Got-It|GrabNet|Grafula|HMView|Go!Zilla|Go-Ahead-Got-It) 1;
     ~*(rafula|HMView|HTTrack|Stripper|Sucker|Indy|InterGET|Ninja|JetCar|Spider|larbin|LeechFTP|Downloader|tool|Navroad|NearSite|NetAnts|tAkeOut|WWWOFFLE) 1;
     ~*(GrabNet|NetSpider|Vampire|NetZIP|Octopus|Offline|PageGrabber|Foto|pavuk|pcBrowser|RealDownload|ReGet|SiteSnagger|SmartDownload|SuperBot|WebSpider) 1;
     ~*(Teleport|VoidEYE|Collector|WebAuto|WebCopier|WebFetch|WebGo|WebLeacher|WebReaper|WebSauger|eXtractor|Quester|WebStripper|WebZIP|Wget|Widow|Zeus) 1;
     ~*(Twengabot|htmlparser|libwww|Python|perl|urllib|scan|Curl|email|PycURL|Pyth|PyQ|WebCollector|WebCopy|webcraw) 1;
 } 

location / {
  if ($limit_bots = 1) {
    return 403;
  }
}

Прямо сейчас занимаюсь аналогичной проблемой.
Вот такой вариант грубо отсечёт много (но не всех) ботов.
Если бот не сообщит в User-Agent своё имя, а прикинется обычным пользователем, то эта схема его не остановит. Нужно будет анализировать его поведенческие факторы, но это уже не сделать на уровне NGINX.

Comments

[Дилик Пулатов]

значить это пропускают поисковые боты и боты соц.сета? А остальные блокирует?
Попробую

[Page-Audit.ru]

Да, ВК, Твиттер, Фэйсбук пройдут.

[Дилик Пулатов]

Page-Audit.ru, есть ещё один вопрос
Это пропускают обичные пользователи?
например я хочу сделать так

location / {
  if ($limit_bots = 1) {
    // открыть порт 3333 для всех
  } else {
    // открыт порт 4444 только для поисковые и ботов соц.сета
  }
}

[Page-Audit.ru]

Дилик Пулатов, у NGINX нет директивы ELSE.
Ваше решение необходимо оформить через переменные

map $limit_bots $myport {
   default "upstream_users";
   1 "upstream_bots";
}

upstream upstream_users {
   server  https://.....:3333
}

upstream upstream_bots {
   server  https://.....:4444
}

Писал по-памяти, возможно где-то есть ошибка/опечатка, но работать нужно в этом направлении.

[Дилик Пулатов]

Page-Audit.ru, но у меня ноджс приложение которые с прокси направляем
Для него как указать upstream перимение?

server {
  listen 443 ssl;
	listen [::]:443 ssl;

	server_name site.com;

	location / {
	  proxy_redirect                      off;
	  proxy_set_header Host               $host;
	  proxy_set_header X-Real-IP          $remote_addr;
	  proxy_set_header X-Forwarded-For    $proxy_add_x_forwarded_for;
	  proxy_set_header X-Forwarded-Proto  $scheme;
	  proxy_read_timeout          				1m;
	  proxy_connect_timeout       				1m;
	  proxy_pass                          http://127.0.0.1:3333; // SPA
	  // proxy_pass                          http://127.0.0.1:4444; // SSR
	}
}

[Page-Audit.ru]

proxy_pass $myport;

[Дилик Пулатов]

Page-Audit.ru, Итак...конфигурации в принципе работает но чуть не правильно

сейчас
$limit_bots = 1 пропускают все боты и соц.сети
$limit_bots = 0 только людей

а мне нужно чуть по другому
$limit_bots = 1 пропускал только поисковые боты и боты соц.сета
$limit_bots = 0 все остальные....боты, людей

насколько я правильно понял, мне нужно здесь указать точные имя боты так?
например

map $http_user_agent $limit_bots {
	default 0;
	~*(GoogleBot|YandexBot|TwitterBot|TelegramBot) 1;
}

[Page-Audit.ru]

Дилик Пулатов, да, так, в этом случае просто нужно вести список разрешённых ботов.

[Дилик Пулатов]

Page-Audit.ru, Помог. Спасибо. Осталось найти правильную наименование нужны боты чтобы им открыть доступ

Answer 2

[to_east]

на PHP решение: https://github.com/JayBizzle/Crawler-Detect. Но если нужно чисто на нгинкс тогда наверное лучше https://openresty.org/ поставить с Луа будет проще чем в конфигах, имхо.

Comments

[powerful888]

https://openresty.org/ что и как там использовать?