Была произведена автоматическая блокировка IP-адресов Google из-за чрезмерного количества одновременных запросов к одному из сайтов. Аналогичные блокировки производятся в процессе фильтрации трафика для первичной защиты от DDOS-атак.
Сейчас IP-адреса внесены в белый список.
Форматирование тоже победил.
В php файле указал явно кодировку.
<?php
header('Content-Type: text/plain; charset=utf-8');
?>
И вывод стал нормальным. https://legendtour.ru/robots.txt
Напишите пожалуйста свои сайты. Буду опять жаловаться хостеру. Я уже пару раз им писал. Но отписываются что все нормально. Пусть ищут. И напишите IP своих сайтов (можно посмтреть в панеле управления). У меня заканчиваютсмя на ххх.ххх.50.145 Если сидят еще и на одном айпишнике!
Подскажите у вас случайно хостер не hts.ru а то у меня смутные сомнения, что может какой то IP где то заблокирован. Или не заблокирован, а вот этот robots.txt как то связан с IP адресом сайта. Сейчас хочу попробовать подкупить выделенный IP. Посмотрим может это поможет.
Большое спасибо, что обратили внимание на тему.
В сети я встречал еще пару раз такие случаи, но никто толком ничего не решил.
1. Настроил редиректы. Да у меня там был беспорядок.
2. Главное зеркало https://legendtour.ru/
3. С форматированием боролся, но не поборолся.
Да файл выглядет как вы показали.
Но если смотреть код страницы
то выглядет нормально.
Это связано с тем что у меня на самом деле файл robors.php И в зависимости от того какой домен обращается к нему формируется свой файл. В файле .htaccess у меня стоит перенаправление с robots.txt на robots.php ( у меня двухязычный сайт русский и анлийская версии. В связи с обстановкой в мире решили сделать 2 разных сайта, т.к. иностранцы сайт в домене РУ воспринимают ненормально. Но у меня на сайте много фоток, более 4000 мегабайт, лежащих в общей папке для двух сайтов). Поэтому так и сделано.
4. Да в Гугле он частично проиндексирован. Но сейчас я на переобход не могу отправить ни одну страницу. Т.к. сразу выскакивает ошибка, что страница запрещена к индексированию в фале robots.txt
И в гугловской консоле в разделе сайтмэпс, стоит пометка файл не получен. Ошибка: При попытке скачать ваш файл Sitemap произошла ошибка. Убедитесь, что он находится по указанному адресу и роботам Google не запрещен доступ к этому файлу. Пробую проверить файл. Гугл отвечает, что данный файл заблокирован в файле robots.txt
5. Еще один симптом. Панель управления Микрософт Bing. При сканировании сайта Ошибка Bingbot IP заблокирован. Сайт заблокировал обход BingBot. (Это если стоит галочка, что не учитывать запреты в robots. Если не ставить, то сайт вообще не сканируется (только начальная страница и все).
Написано
Войдите на сайт
Чтобы задать вопрос и получить на него квалифицированный ответ.
Сейчас IP-адреса внесены в белый список.