Почему некоторые блокируют «якобы плохих ботов»?

Question

[Dextore23]

Здравствуйте.
Наблюдаю у себя в логах веб сервера, огромный поток сканирования, различными ботами, например такие

2a01:4f9:6a:51c3::2 - - [23/Dec/2022:20:15:10 +0300] "GET / HTTP/1.1" 200 28563 "-" "Mozilla/5.0 (compatible; MJ12bot/v1.4.8; http://mj12bot.com/)"

Начал изучать, гуглить, так как иногда проскакивают боты, которые мне не известны, и наткнулся на статью, типа "блокируем плохих ботов"...

Вопрос, их блокируют чтобы они не нагружали сервер? Или есть еще какой-то смысл?
Ну допустим какой-то сервис, узнает или посчитает все свои факторы, и даст значение моему сайту по типу траста и тд,

И все? Вроде ничего страшного, какой еще смысл?

Answer 1

[humoured]

Блокируют, что бы исключить нагрузку на сервер. Боты могут бесконтрольно рекурсивно скачивать миллионы страниц с сервера, а толку от них конкретно вам не будет никакого.
Если бы мотивацией бота был ещё какой-то смысл, он бы выдал себя за обычного пользователя.

Answer 2

[Виктор Петров]

Причин блокировок - тонны.
Первая - это снижение нагрузки на сервер. Не каждый провайдер спокойно отнесется даже к интенсивному обходу сайта каким-нибудь Screaming Frog.
Вторая - это нежелание отдавать вовне важную информацию по сайту. К примеру, данные о ссылочном профиле, контенту страниц и т.п. Банально: вы не хотите, чтобы ваши данные кто-то банально спёр и разместил у себя - а это обычная практика.
Ну, и есть ещё пачка разных суеверий у вебмастеров, которым дали чьи-то чеклисты, только не объяснили, что это конкретно и для чего.