Все сервисы Хабра
Сообщество IT-специалистов
Ответы на любые вопросы об IT
Профессиональное развитие в IT
Закрыть
Задать вопрос
weranda
@weranda
Боты
Парсинг
Алгоритмы
Что делать с плохими ботами?
Приветствую
Размышляю. Есть боты и парсеры, не несущие ничего полезного сайту (alexa, ahrefs, grab, python-requests и другие). Что с ними делать? Блокировать через .htaccess / PHP или же редиректить на какую-нибудь страницу. Что думаете по этому поводу?
Вопрос задан
более трёх лет назад
192 просмотра
1
комментарий
Подписаться
1
Простой
1
комментарий
Facebook
Вконтакте
Twitter
Влад Хеллсайт
@Negezor
Дать доступ к API что бы не парсирили сайт? Они же не остановятся)
Написано
более трёх лет назад
Ответ
пользователя
VladimirMelnik
К ответам
на вопрос
(2)
VladimirMelnik
@VladimirMelnik
Блокировать стоит, если несут ощутимую нагрузку на сайт (что маловероятно), иначе не стоит.
Ответ написан
более трёх лет назад
Комментировать
Нравится
Комментировать
Facebook
Вконтакте
Twitter
Войдите на сайт
Чтобы задать вопрос и получить на него квалифицированный ответ.
Войти через центр авторизации
Закрыть
Реклама