Как закрыть доступ к сайту от ботов по юзер агенту через cloudflare?

Question

[Дмитрий]

Как закрыть доступ к сайту определённым ботам по юзер агенту через Сloudflare (без использования сервера).
Настроил правила блокировки:

Правила сохраняются, но блокировка не срабатывает, при тесте бот с заблокированным юзер агентом проходит на сайт.

Answer 1

[Vitaly Karasik]

А у вас точно CF активизирован?

Comments

[Дмитрий]

Да, точно. Через браузер на сайт заходит, DNS-серверы указаны

[Vitaly Karasik]

Я имею в виду, идет ли траффик через CF?

nslookup example.com

дает адреса CF или вашего сервера?

[Дмитрий]

Vitaly Karasik, да трафик идет через CF

[Vitaly Karasik]

Дмитрий, странно!

только что проверил у себя - работает, получаю 403 статус

[Vitaly Karasik]

попробуйте самый простой rule с одним агентом, например curl.
может какой-то баг...

[Дмитрий]

Vitaly Karasik, понял в чем проблема, часть страниц редиректит 301 ответом на старый домен.
Как я понимаю правило 301 первичное и только потом идет фильтрация по юзер агенту ботов. Это можно как то изменить? т. е боты сначала по юзер агенту получают 403, а только потом срабатывает 301 если юзер агент не этого бота.

[Vitaly Karasik]

Дмитрий,

Это можно как то изменить?

Надо почитать, не знаю.
В любом случае можно блокировать user agent и на втором сайте.

[Дмитрий]

Vitaly Karasik, тут важно не показывать сам факт редиректа этим ботам