Как заблокировать ботов в Apache через через httpd.conf?

Question

[Дмитрий]

Подскажите как при помощи файла httpd.conf заблокировать доступ к контенту списку ботов по юзер агентам:
SemrushBot-SA
rogerbot
megaindex.com
и т.д
Машинка на Ubuntu 18.04 64 bit Apache/2.4, блокировка через .htaccess в данным улчучае увы не подходит

Answer 1

[dodo512]

RewriteEngine On

RewriteCond %{HTTP_USER_AGENT} SemrushBot-SA|rogerbot|megaindex\.com
RewriteRule ^ - [F]

Добавить в нужный <VirtualHost>

Comments

[Дмитрий]

Код не отрабатывает, сам конфиг:

efaultRuntimeDir ${APACHE_RUN_DIR}
PidFile ${APACHE_PID_FILE}
Timeout 300
KeepAlive On
MaxKeepAliveRequests 100
KeepAliveTimeout 5
User ${APACHE_RUN_USER}
Group ${APACHE_RUN_GROUP}
HostnameLookups Off
ErrorLog ${APACHE_LOG_DIR}/error.log
LogLevel warn
IncludeOptional mods-enabled/*.load
IncludeOptional mods-enabled/*.conf
Include ports.conf
<Directory />
        Options FollowSymLinks
        AllowOverride None
        Require all denied
</Directory>
<Directory /usr/share>
        AllowOverride None
        Require all granted
</Directory>
<Directory /var/www/>
        Options FollowSymLinks
        AllowOverride None
        Require all granted
</Directory>
<Directory /var/www/>
        Options FollowSymLinks
        AllowOverride None
        Require all granted
</Directory>
AccessFileName .htaccess
<FilesMatch "^\.ht">
        Require all denied
</FilesMatch>
AccessFileName .htaccess
<FilesMatch "^\.ht">
        Require all denied
</FilesMatch>
LogFormat "%v:%p %h %l %u %t \"%r\" %>s %O \"%{Referer}i\" \"%{User-Agent}i\"" vhost_combined
LogFormat "%h %l %u %t \"%r\" %>s %O \"%{Referer}i\" \"%{User-Agent}i\"" combined
LogFormat "%h %l %u %t \"%r\" %>s %O" common
LogFormat "%{Referer}i -> %U" referer
LogFormat "%{User-agent}i" agent
IncludeOptional conf-enabled/*.conf
IncludeOptional sites-enabled/*.conf

[dodo512]

Дмитрий, а где тут <VirtualHost *:80> в который ставили правило?

[Дмитрий]

Вставил в конец такой код:

<VirtualHost *:80>
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} SemrushBot-SA|rogerbot|megaindex\.com
RewriteRule ^ - [F]
</VirtualHost>

[Дмитрий]

dodo512, заработало, закрался лишний символ! Спасибо.
А если блокировать по юзер агенту не весь контент, а только доступ к конкретному файлу "namefile.js" ?

[dodo512]

Дмитрий, это правило нужно ставить в <VirtualHost> сайта где нужно закрыть доступ ботам.

IncludeOptional sites-enabled/*.conf

Нужный VirtualHost находится где-то в каталоге sites-enabled, а не тот который добавили в httpd.conf

А сами сайты где-то в /var/www или в другом месте?
Если все сайты расположены в /var/www, то можно попробовать не RewriteRule, а Require.
В httpd.conf

<Directory /var/www/>
        Options FollowSymLinks
        AllowOverride None
        Require all granted
</Directory>
<Directory /var/www/>
        Options FollowSymLinks
        AllowOverride None
        Require all granted
</Directory>

Заменить на

<Directory /var/www/>
        Options FollowSymLinks
        AllowOverride None
        Require expr %{HTTP_USER_AGENT} !~ /SemrushBot-SA|rogerbot|megaindex\.com/
</Directory>

[Дмитрий]

dodo512, да конфиг в другом месте там проблема была в другом, лишний символ был

[Дмитрий]

dodo512, если блокировать по юзер агенту не весь контент, а только доступ к конкретному файлу "namefile.js" ?

[dodo512]

Дмитрий, строку RewriteRule ^ - [F] заменить на
RewriteRule namefile.js - [F]

[Дмитрий]

dodo512, спасибо