Как забанить ботов средствами nginx?

Question

[TopGun89]

Здравствуйте. Нужно забанить ботов при помощи nginx.
В файле
вставил такие строки:

include custom/bad_ua;
    include custom/bad_referer;
    include custom/bad_ip;
    include custom/bad_location;

Вопрос:
Следующим шагом нужно создать директорию custom, в нее сложить файлы bad_ua, bad_referer, bad_ip, bad_location ?
bad_ua и т.д. - это файлы с расширением .conf ? Те файл будет иметь вид bad_ua.conf ?

Answer 1

[4X_Pro]

Вообще, в директиве include надо писать имя файла с расширением. Т.е. если планируется назвать файл bad_ua.conf, то и в конфиге нужно писать include custom/bad_ua.conf.
А в этих файлах нужно не просто перечислять refrerы или IP, а прописывать правила nginx.

Comments

[TopGun89]

Те создаем файл bad_ua.conf, а в него уже вставляем условия:

map $http_user_agent $bad_ua {

  default 0;

  ""                       1;
  "~*Panopta"              1;
  "~*Baiduspider"          1;
  "~*AC-BaiduBot"          1;
  "~*TurnitinBot"          1;
  "~*pirst"                1;
  "~*FlightDeckReportsBot" 1;
  "~*Fuck"                 1;
  "~*DomainTools"          1;
  "~*ZmEu"                 1;
  "~*ezooms"               1;
  "~*solomono"             1;
  "~*360Spider"            1;
  "~*Ahrefs"               1;
  "~*Sogou"                1;
  "~*Java/1"               1;
  "~*nutch agent"          1;
  "~*Indy Library"         1;
  "~*Sogou"                1;
  "~*urllib"               1;
  "~*wget"                 1;
  "~*curl"                 1;
  "~*MJ12bot"              1;
  "~*majestic"             1;

}

Так будет правильно ?

[4X_Pro]

TopGun89: да.
И там же прописываем правило, проверяющее, что совпадение найдено и блокирующее доступ со статусом 403:
if ($bad_ua=1) {
return 403;
}
(Хотя при желании можно его и в основном конфиге прописать).

[TopGun89]

Уже что то проясняется ))) Подскажите это правило:

if ($bad_ua=1) {
return 403;
}

нужно прописать в самом конце ? те конечный файл bad_ua.conf будет иметь такой вид :

map $http_user_agent $bad_ua {

  default 0;

  ""                       1;
  "~*Panopta"              1;
  "~*Baiduspider"          1;
  "~*AC-BaiduBot"          1;
  "~*TurnitinBot"          1;
  "~*pirst"                1;
  "~*FlightDeckReportsBot" 1;
  "~*Fuck"                 1;
  "~*DomainTools"          1;
  "~*ZmEu"                 1;
  "~*ezooms"               1;
  "~*solomono"             1;
  "~*360Spider"            1;
  "~*Ahrefs"               1;
  "~*Sogou"                1;
  "~*Java/1"               1;
  "~*nutch agent"          1;
  "~*Indy Library"         1;
  "~*Sogou"                1;
  "~*urllib"               1;
  "~*wget"                 1;
  "~*curl"                 1;
  "~*MJ12bot"              1;
  "~*majestic"             1;

}

if ($bad_ua=1) {return 403;}

PS Почему 403, а не 444 ?

[4X_Pro]

TopGun89: да. Там логика работы такая: директива map выставляет переменную $bad_ua в 0 или 1, а строка с if проверяет, что эта переменная выставлена в единицу, и если это так, выдает статус 403.
403 — это HTTP-статус Forbidden, то есть "доступ к данному документу запрещен". При желании можно использовать вместо него 404, это уже дело личных предпочтений. Статуса 444 в HTTP-протоколе нет,

[TopGun89]

<Статуса 444 в HTTP-протоколе нет
Может я ошибаюсь, сегодня второй день только погрузился в nginx, но по моему

if ($bad_ua) {
return 444;
}
return 444 - в nginx означает оборвать соединение ?

Вот выдержка из официального сайта - prntscr.com/fx6qs7

Или я что то напутал ?

[4X_Pro]

TopGun89: а, все понял. Статус 444 — это дополнение конкретно для nginx. В принципе, можно и так сделать.

Answer 2

[Владимир]

Как-то слишком радикально.
Я бы предложить что-то вроде fail2ban)