Как заблокировать запросы по User-Agent через .htaccess?

Question

[Данила]

Здравствуйте! Поместил в .htaccess правила, блокирующие запросы от определённых User-Agent'ов. Многострочная конструкция (нижняя) работает, а сокращённая, содержащая регулярные выражения, не работает, т.е. вызывает ошибку 404 для любого User-Agent. В чём может быть причина?

#Эта конструкция не работает - вызывает ошибку 404, когда заходишь на сайт для всех User-Agent.
RewriteCond %{HTTP_USER_AGENT} [SolomonoBot|HaosouSpider|MJ12Bot|AhrefsBot|SemrushBot|360Spider]
RewriteRule ^.*$ - [R=404,L]

#А эта конструкция работает, но она слишком большая. Что я делаю не так?
RewriteCond %{HTTP_USER_AGENT} HaosouSpider [NC,OR]
RewriteCond %{HTTP_USER_AGENT} MJ12bot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} AhrefsBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} SemrushBot
RewriteCond %{HTTP_USER_AGENT} 360Spider [NC,OR]
RewriteRule .* - [R=404,L]

#Вот так всё работает
RewriteCond %{HTTP_USER_AGENT} (SolomonoBot|HaosouSpider|MJ12Bot|AhrefsBot|SemrushBot|360Spider)
RewriteRule ^.*$ - [R=404,L]

Comments

[serkamikadze]

Я в настройках .htaccess не силен но там не () должны быть? вместо [] в первой конструкции

[Данила]

Да, всё верно.

Answer 1

[Алексей]

Попробуйте круглые скобки вместо квадратных.

Answer 2

[Neocaridina]

SetEnvIfNoCase User-Agent "ahrefs.com" bad_bot
SetEnvIfNoCase User-Agent "megaindex.ru" bad_bot
SetEnvIfNoCase User-Agent "Java/1." bad_bot
SetEnvIfNoCase User-Agent "linkpad.ru" bad_bot
<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Limit>

Comments

[Данила]

Так я пробовал, работает, но была цель именно редиректить ботов на страницу 404, да и данное решение занимает гораздо больше строк. Кстати, а почему у Вас указано не "AhrefsBot", а "ahrefs.com"? Ведь у ahrefs.com User-agent "AhrefsBot" ?

[Neocaridina]

>>данное решение занимает гораздо больше строк
Зато не требует RewriteEngine, что есть збс для любых сайтов. Скинул это выше папки с пачкой сайтов, и пофик на вкл/выкл RewriteEngine :)

>>цель именно редиректить ботов на страницу 404
Не стоит обманывать, даже ботов :) Нельзя на существующую - значит 403. Но это имхо.

>> не "AhrefsBot", а "ahrefs.com"?
Да там вроде есть и то и то, плевать.

[IA-NE-ROBOT]

реально збс, все выше не робит