Что делать с плохими ботами?

Question

[weranda]

Приветствую

Размышляю. Есть боты и парсеры, не несущие ничего полезного сайту (alexa, ahrefs, grab, python-requests и другие). Что с ними делать? Блокировать через .htaccess / PHP или же редиректить на какую-нибудь страницу. Что думаете по этому поводу?

Comments

[Влад Хеллсайт]

Дать доступ к API что бы не парсирили сайт? Они же не остановятся)

Answer 1

[VladimirMelnik]

Блокировать стоит, если несут ощутимую нагрузку на сайт (что маловероятно), иначе не стоит.

Answer 2

[Михаил Сисин]

Это борьба с ветряными мельницами. Если боты не затрудняют работу сайта, проще с ними смириться. Если затрудняют, это уже повод для юридического преследования.