Как менее ресурсно блокировать ботов на nginx — по IP или user-agent?

Question

[Александр]

Имеется VPS с панелью ISPmanager и nginx+php-fpm. Бот PetalBot штормит один из сайтов (но я бы даже для всех заблокировал его на всякий случай). Лучше в конфиге nginx для сайта прописать запрет доступа по user-agent

if ($http_user_agent ~* PetalBot) {
	    return 403;
	}

либо запретить доступ для диапазона IP

location / {
    deny  114.119.160.0/16;
    deny  114.119.161.0/16;
    deny  114.119.162.0/16;
    deny  114.119.163.0/16;
    deny  114.119.164.0/16;
    deny  114.119.165.0/16;
    deny  114.119.166.0/16;
    deny  114.119.167.0/16;
}

Либо как-то нужно еще раньше запретить и тогда даже в логах access.log не будут они фиксироваться? В настройке серверов разбираюсь не много.

Comments

[wisgest]

Вроде приличный робот: PetalBot - Aspiegel, должен блокироваться в robots.txt.

Answer 1

[ky0]

Прибейте на фаерволле по диапазонам адресов - тогда в логах ничего не появится.

Comments

[Александр]

Таким образом nginx не будет даже запускаться и получится еще легче серверу?

Answer 2

[Karpion]

Если атаки целенаправленные - то хакер может сменить user_agent без проблем. Советую банить и по IP-адресу, и по user_agent.

Comments

[neerro]

Не будет он менять User-Agent, так как это хуавеевский поисковик. И, да, он очень занудный, прям не отстает.

[wisgest]

neerro, вобще-то он блокируется в robots.txt и, да, нужно давать развиваться альтернативным ПС. https://petalsearch.com/ выдаёт вполне адекватные ответы.

[neerro]

wisgest, Про развитие, согласен с вами. Но в моем контексте, этот поисковик не несет никакой смысловой нагрузки, а агрессивный трафик от него немного напрягает. По моей практике и наблюдениям, чхать он хотел на указанные параметры по запрету на индексирование. Возможно вашим установкам в robots.txt он подчиняется более охотно.

Answer 3

[AnrDaemon]

Вот только если блокируете именно нежелательных ботов, лучше `return 444;`

Comments

[wisgest]

Почему (сегодня) return 444 не всегда полезен / Хабр

[AnrDaemon]

Мой ответ ещё раз внимательно перечитайте.
Бот неминуемо будет долбиться. Но получая в ответ 403 (или, ещё веселее, 200), он будет ПРОДОЛЖАТЬ долбиться. А поймав таймаут соединения бот с большой вероятностью посчитает сайт "мёртвым" и перестанет тратить ресурсы на его опрос.
Именно с этой целью была сделана оговорка про абсолютно нежелательных визитёров.

[neerro]

AnrDaemon, А что в ответе 403 так привлекает ботов, что после нескольких таких неудачных запросов продолжает настойчиво ходить туда, где явно ему дали понять, что гость он точно не желательный?

Answer 4

[Иван Иванов]

Да, мне тоже сверхнагрузку создавал. Это робот поисковика huawei - https://vk.com/@news_newusman-rss-722804822-1394310157 - достаточно в роботс заблокировать. Можно еще кончено в htaccess или nginx, чтобы точно.