Как автоматически в centos 7 и nginx блокировать ip по содержимому запроса на основе ключевых слов?

Question

[russeljo]

Сейчас смотрю лог запросов и блокирую ip через firewall-cmd:

firewall-cmd --add-rich-rule='rule family=ipv4 source address=X.X.X.X reject' --permanent

Приходится "вручную" искать в логе "плохие" запросы, содержащие ключевые слова: bingbot, petalsearch, semrush, mj12bot.
Например,

40.77.167.211 - - [27/Mar/2023:04:08:46 +0300] "GET /library/?section=prezentatsii HTTP/1.1" 200 42148 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/103.0.5060.134 Safari/537.36"

Как можно это автоматизировать? Может можно настроить фаервол, чтобы он смотрел тело запроса и отклонял, если в нём есть ключевое слово? Или это можно сделать в nginx, но не хотелось бы чтобы запрос доходил даже до nginx? Поэтому хочется блокировать на уровне фаервола.

Пока есть только идея через крон сканировать файл лога и на этом создавать правила для фаервола. Но тут тоже не особо в этом разбираюсь. Буду и за эту подсказку весьма благодарен.

Answer 1

[Stalker_RED]

идея ... сканировать файл лога и на этом создавать правила для фаервола

идея хорошая, и вы не первый, кому она пришла.

Самый известный, пожалуй, fail2ban ну и множество других, по запросу "firewall automation tool", или вот так.

Answer 2

[AUser0]

В location / сделайте:

if ($http_user_agent ~* "(bingbot|petalsearch|semrush|mj12bot)") {
    return 403;
}

Ну это если по быстрому, без fail2ban.

Comments

[mayton2019]

Мне как разработчику это непонятно.

Почему потенциальный злоумышленник должен идентифицировать свой http-агент?
Вот эти слова
bingbot|petalsearch|semrush
обязаны присуствовать?

Как по мне - так я-бы просто маскировался под браузер. Вобщем как-то наивно.

[AUser0]

mayton2019, bing, semrush, mj12 не являются злоумышленниками, и представляются именно так. Если автору вопроса требуется пропасть из поисковых машин полностью - кто ж ему запретит? А мы поможем, с радостью!

P.S. /robots.txt соответствующий не забудьте.

[russeljo]

mayton2019, я не стал упоминать компрометирующие запросы)

[russeljo]

AUser0, вроде тоже неплохое решение, но бот сможет безнаказанно стучаться на сервер и доходить до nginx, отъедая ресурсы. Нужно, чтобы его банило с одного запроса.

[AUser0]

russeljo, тогда добавляйте логирование в отдельный файл, и fail2ban все IP, попавшие в этот отдельный файл. Но уверяю, такой отлуп ресурсов не съест, вообще: поисковые боты DDoS-ов не устраивают...

P.S. Настройка /robots.txt куда полезнее!

[russeljo]

AUser0, дело не только в поисковых ботах, к сожалению. в запросах присутствуют политические тексты, и они дидосят.