Как запретить боту от ahrefs идексировать мой сайт?

Question

[Иван Вовчок]

Всем привет.
Пытаюсь запретить ahrefs-боту индексировать несколько своих сайтов, используя плагин Link Privacy. И происходит странное - для некоторых сайтов это работает, форма проверки статуса выдает такое:

Для других же:

Не могу понять, откуда берутся эти файлы robots.txt, в файлах на сервере их нет.
Отключил все плагины, которые могут добавить файлик сами, но проблема осталась.
Может, кто-нибудь подскажет, что делать?

Answer 1

[Кирилл]

Добавьте в robots.txt

User-agent: AhrefsBot 
Disallow: /