Размышляю. Есть боты и парсеры, не несущие ничего полезного сайту (alexa, ahrefs, grab, python-requests и другие). Что с ними делать? Блокировать через .htaccess / PHP или же редиректить на какую-нибудь страницу. Что думаете по этому поводу?
Это борьба с ветряными мельницами. Если боты не затрудняют работу сайта, проще с ними смириться. Если затрудняют, это уже повод для юридического преследования.
