Как заблокировать ботов majestic и ahrefs в nginx или robots?

Question

[triggerfinger]

Как это сделать эффективно (читал, что могут игнорировать robots)? И нормально ли это блокировать на уровне nginx (не robots.txt)? Что для этого нужно, юзер агент? Где его узнать?

Answer 1

[Twelfth Doctor]

Да, Вы правы, для этого действительно нужен User-Agent ботов.
Для конфигурации nginx:

if ($http_user_agent ~* (AhrefsBot|majestic) ) {
    return 403;
}

Comments

[triggerfinger]

В скобках можно перечислить все юзер агенты которые банить? Я нашел такой код, но это похоже тоже самое, просто список вынесен отдельно + еще что-то

map $http_user_agent $hml_agent {
  default 0;
  ~*AhrefsBot 1;
  ~*MJ12bot 1;
  ~*rogerBot 1;
  ~*MegaIndex.ru/2.0 1;
  ~*YandexBot 1;
  ~*ia_archiver 1;
  ~*bingbot 1;
  ~*Baiduspider 1;
  ~*archive.org_bot 1;
  ~*BLEXBot 1;
  ~*LinkpadBot 1;
  ~*spbot 1;
  ~*Serpstatbot 1;
  ~*exabot 1;
  ~*SemrushBot 1;
  ~*boitho 1;
  ~*psbot 1;
  ~*sogou 1;
  ~*Slurp 1;
}

map $request_uri $hml_page {
  default 0;
}

map $remote_addr $hml_ip {
  default 0;
}

server {
  set $hml "";
  if ($hml_agent) {
    set $hml "${hml}A";
  }
  if ($hml = A) {
    return 403;
  }
}

[Twelfth Doctor]

triggerfinger, да, можно внести скобки все юзерагенты, которые нужно забанить.

[triggerfinger]

Twelfth Doctor, благодарю

[mobidev]

triggerfinger, прикольно ты и яндекс бота забанил))))