Как запретить доступ поисковому боту на сайт?

Question

[Роман]

Добрый день!

Подскажите как написать правило на уровне .htaccess (Apache) что бы заблокировать доступ тому или иному боту?
Проблема в том, что повадились различные боты, которые дают сильную нагрузку на сайт, к примеру:

AhrefsBot/5.1 - вот прям зло!
bingbot/2.0
MJ12bot/v1.4.5
и т.п.

Проанализировав лог файл, увидел, что 90% трафика сайта, это не нужные мне боты, а нагрузка большая. Завтра хостинг провайдер попрет со двора.

Прошу помощи, спасибо!

-------------------
Решение:

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} .*bingbot.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} .*ahrefsbot.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} .*mj12bot.* [NC]
RewriteRule .* - [R=403,L]

Спасибо Алексей

Answer 1

[Алексей]

stackoverflow.com/questions/29212810/how-to-fight-...

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (bingbot) [NC]
RewriteRule .* - [R=403,L]

Comments

[Роман]

Не помогло, все равно шастает. Даже и не заметил правила (((

[Алексей]

То что шастает это понятно, в access_log код ответа по-прежнему 200?

[Роман]

301 и 304, но это по тому что у меня переадресация стоит с http на https

[Алексей]

301 - переадресация, второй, наверное 403? Если 403 - то это ровно то что прописали в htaccess.
Делать запросы ему никто не запретит, разве что robots.txt еще настроить против него.

[Роман]

"GET /moya-stranica HTTP/1.0" 200 10765 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +www.google.com/bot.html)"

[Алексей]

Это гуглобот, вы что в итоге в htaccess прописали?

[Роман]

AddDefaultCharset utf-8
AddType 'text/html; charset=utf-8' .html .htm .shtml

php_flag register_globals Off
php_flag zlib.output_compression On
php_value zlib.output_compression_level 5

RewriteEngine On
RewriteBase /

RewriteCond %{HTTP_USER_AGENT} (AhrefsBot) [NC]
RewriteCond %{HTTP_USER_AGENT} (bingbot) [NC]
RewriteRule .* - [R=403,L]

ниже переадресация с http на https

[Алексей]

Так вы про гуглобота ничего не написали и OR надо добавить.
Попробуйте:

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} .*bingbot.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} .*ahrefsbot.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} .*bingbot.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} .*mj12bot.* [NC]
RewriteRule .* - [R=403,L]

[Алексей]

Однако на счет ненужности ботов надо внимательно подумать. Если у вас есть, например, трафик с Гугопоиска, то забанив Гуглобота вы в итоге лишитесь этого трафика. Аналогично по другим поисковикам.

[Роман]

[18/Apr/2016:03:30:05 +0300] "GET /moya-stranica HTTP/1.0" 403 239 "-" "Mozilla/5.0 (compatible; AhrefsBot/5.1; +ahrefs.com/robot/)"
[18/Apr/2016:03:30:39 +0300] "GET /moya-stranica HTTP/1.0" 403 209 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +www.bing.com/bingbot.htm)"

Ура, жуйте овес нехорошие боты!

Спасибо большое!

[Роман]

Да не, я хочу запретить гулять

AhrefsBot/5.1 - сервис по сбору ссылок
bingbot/2.0 - бот мелкомягких, тоже не нужен
MJ12bot/v1.4.5 - тоже какой парсер с ссылками (точно не знаю, не стал разбираться на сайте)

Всю ответственность с запретом ботов понимаю и осознаю! Еще раз спасибо!

[Алексей]

Я там 2 раза строчку "RewriteCond %{HTTP_USER_AGENT} .*bingbot.* [NC,OR]" написал, сорри :)
На результат не повлияет, но при случае можно убрать.

[Роман]

Шапку исправил!

На счет Googlebot, то у нас 4-ый час ночи - просто по запаре не ту строку скопировал и сюда вставил