Написал в службу поддержки хостера:
Здравствуйте уважаемые товрищи.
Свою проблему так и не решил - обращаюсь опять.
Как говорят врачи - появился новый симптом.
Как писал в предыдущих обращениях в панели Google Search Console
Гугл откудато вытаскивает левый файл robots.txt
Вот такого вида.
-----------------------------------------------------
User-Agent: Yandex
Disallow: /
Host: www.hoster.ru
User-Agent: Googlebot
Disallow: /
User-Agent: *
Disallow: /
-------------------------------------------------------
Понятно, что в этом файле запрещена индексация всего сайта!!!
Но на моих сайтах
https://legendtour.ru/robots.txt
https://legendtour.mn/robots.txt
Если смотреть по ссылке совершенно другие записи!
Бьюсь с этим уже 10 дней!!!
Попросил помощи в решении вопроса на Хабре
Проблема с файлом robots.txt в Google Search Console. Откуда он его берет?
Но на днях поступило сообщение от человека у которго аналогичная проблема.
Тот же самый левый файл robots.txt
Это человек - то же ваш клиент!!!!
helpadmins.ru
gomel-comp.by
Файлы у него расположены на том же сервере что и у меня!
IP адрес хх.110.50.145
Простите это совпадение?
Я не понимаю, что происходит.
Может у вас где-то выше корня моего сайта лежит этот файл robots.txt
Который хватает бот Гугла????
Может это айпишник где-то у гугла засветился?
Но я понимаю если бы его забанили, внесли в черный список.
Но нет - такого нет. Просто появляется долбанный robots.txt
Проверил еще сайты расположенные у вас под моим управлением:
interpol.ru
хх.110.50.117
С файлом robots.txt все ок. Он судя по айпишнику на другом сервере.
liepa.ru
хх.110.50.121
С файлом robots.txt все ок. Он судя по айпишнику также на другом сервере.
Попробовал для сайта interpol.ru
скопировал на него файлы
.htacces и robots.txt со своего сайта.
все прошло без проблем!
Google Search Console сразу
в течении минуты цепляет новый файл и показывает его правильно!
Т.е. в моих файлах нет ошибок!!!
Да и дополнительно. Тоже симптом.
Когда я в Google Search Console отправляю на переобход файл robots.txt с домена legendtour.ru или legendtour.mn
Переобходи идет до нескольких дней!!!!
А другие сайты interpol.ru или liepa.ru МИНУТЫ!!!!!
Хотя я подозреваю тут играет роль и левый robots.txt
Если там все запрещено!
Вопрос - ВЫ МОЖЕТЕ СМЕНИТЬ ip ВСЕГО БЕСПЛАТНОГО СЕРВЕРА???
Или поискать может у вас где-то в настройках ВАШЕГО сервера с этим IP сидит вышеуказанный файл robots.txt
ПРОБЛЕМА РЕШЕНА!
Была произведена автоматическая блокировка IP-адресов Google из-за чрезмерного количества одновременных запросов к одному из сайтов. Аналогичные блокировки производятся в процессе фильтрации трафика для первичной защиты от DDOS-атак. Сейчас IP-адреса внесены в белый список.
