Как заблокировать вредных поисковых ботов?

Question

[Простой Человек]

В robots.txt запретил доступ, а как сделать так, чтобы их заблокировать, потому что трафик жрут некоторые очень много.

Answer 1

[Простой Человек]

Да мне уже подсказали, у меня на CloudFlare сайт, там через
Firewall -> Create firewall rule > Field = User Agent -> Operator = contains -> Value = [ИмяБота]

Если несколько, то в конце применяем оператор OR, дальше по вышеуказанной схеме

Answer 2

[Antonio Solo]

надо анализировать юзер-агента на уровне веб-сервера (.htaccess) или непосредственно скрипта

если нагрузка от ботов чрезмерная - после обнаружения бота создается правило для фаервола

Comments

[Простой Человек]

Да мне уже подсказали, у меня на CloudFlare сайт, там через
Firewall -> Create firewall rule > Field = User Agent -> Operator = contains -> Value = [ИмяБота]

Если несколько, то в конце применяем оператор OR, дальше по вышеуказанной схеме