Настройки .htaccess — как запретить индексацию от всех ботов?

Question

[Игорь Потапов]

Здравствуйте, подскажите как правильно заполнить .htaccess?
Задача такая, запретить ботом видеть мой сайт
если заполнить так:
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (Googlebot) [NC]
RewriteRule .* - [R=403,L]

Все работает, заходишь под гугл ботом, то сайт он не видит, а видит ошибку 403, но если составить большой список вида

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (Googlebot) [NC]
RewriteRule .* - [R=403,L]
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (google) [NC]
RewriteRule .* - [R=403,L]
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (HPWebPrintSmart) [NC]
RewriteRule .* - [R=403,L]
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (HPWeb PrintSmart) [NC]
RewriteRule .* - [R=403,L]
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (HP WebPrintSmart) [NC]
RewriteRule .* - [R=403,L]
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (HP Web PrintSmart) [NC]
RewriteRule .* - [R=403,L]
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (AskJeeves) [NC]
RewriteRule .* - [R=403,L]
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (Ask Jeeves) [NC]
RewriteRule .* - [R=403,L]
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (HTTrack) [NC]
RewriteRule .* - [R=403,L]
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (Indy Library) [NC]
RewriteRule .* - [R=403,L]
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (Mediapartners) [NC]
RewriteRule .* - [R=403,L]
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (RPT-HTTPClient) [NC]
RewriteRule .* - [R=403,L]
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (ListChecker) [NC]
RewriteRule .* - [R=403,L]

и более, то вылетает ошибка 500 и сайт уже вообще не работает

как правильно перечислить всех ботов?

Answer 1

[Олег]

RewriteEngine On ОДИН РАЗ