Редирект ботов через htaccess?

Question

[agromov91]

Как можно заблокировать всех ботов, кроме яндекса и гугла?
Или отправить на отдельную страницу.

Answer 1

[Александр Докин]

Кратко - никак, подробнее ниже.

Для запрета сканирования краулерами обычно используют robots.txt,

например такой

User-agent: Googlebot
Allow: /

User-agent: Yandex
Allow: /

User-agent: *
Disallow: /

Подробные списки юзерагентов: google и yandex.

Но robots.txt - это лишь предупреждение, поэтому какие-нибудь SEO-боты попросту его проигнорируют.

Теперь по поводу .htaccess: вебсервер при обработке запросов может ориентироваться только на то, что ему пришлют в заголовках. Любой бот может прислать в User-agent что-угодно, поэтому не получится отличить их от обычного пользователя.

Да, есть проекты типа такого, которые обновляют базы определения "плохих ботов". Если это вам и правда надо - изучайте.

Comments

[Виктор Таран]

боты у яндекса и гугла целыми списками
https://quasiocculti.com/blog/user-agent-botov-poi...
и они же еще могут добавлятьс и убавляться
Так что можно внести всех ботов яндекса и гугла в разрешеные но не факт что этого хватит.

[wisgest]

какие-нибудь SEO-боты попросту его проигнорируют

ahrefs.com/robot
www.semrush.com/bot.html
…
— не игнорируют.
Я бы не советовал пользоваться упомянутым списком: многие роботы из него смотрят в robots.txt, среди них есть поисковые, например, Exabot.