Vanovich
@Vanovich
Иван

Как запретить боту от ahrefs идексировать мой сайт?

Всем привет.
Пытаюсь запретить ahrefs-боту индексировать несколько своих сайтов, используя плагин Link Privacy. И происходит странное - для некоторых сайтов это работает, форма проверки статуса выдает такое:
5f71f509cef51055703187.png
Для других же:
5f71f5821020c629054920.png
Не могу понять, откуда берутся эти файлы robots.txt, в файлах на сервере их нет.
Отключил все плагины, которые могут добавить файлик сами, но проблема осталась.
Может, кто-нибудь подскажет, что делать?
  • Вопрос задан
  • 20 просмотров
Решения вопроса 1
init0
@init0
Старый моряк
Добавьте в robots.txt
User-agent: AhrefsBot 
Disallow: /
Ответ написан
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы