Не хочется вступать в перепалку. Но видимо вот у вас много времени что бы меня упрекнуть.
Мне реально пользователь dodo512 очень помог. Потому, что задача не типичная. Вы простите, но я думал, что ХАБР и предназначен для помощи. Если у вас нет времени - ну пропустите мое сообщение...
А насчет того что у меня НЕТ ВРЕМЕНИ . То ситуация такая. У меня сайт влетел под каток Баден-Бадена на Яндексе. И я уже несколько месяцев карабкаюсь из этой ямы. Когда Яндекс в сутки может сотню страниц исключить из поиска а потом через неделю их же включить в поиск. На прошлой неделе я внес изменения в htaccess и (обработка ошибок 410, потому, что многое удаляю с сайта). И где-то чуть ошибся и обработка попала в цикл. И за ночь, у меня у меня вылетела критическая ошибка, что 50 страниц - долгий отклик сервера. Я файлик конечно поправил, но время упустил. Вот теперь еще с этим бороться. Вот поэтом НЕТ ВРЕМЕНИ. Да, я учесь. Но не успеваю.
Спасибо. Попробовал. Работает.
Но это решение получается для конкретного каталога.
В моем случае будет 5 записей, для них.
А как быть с главной страницей? Она у меня тоже влетела без index.shtml?
А нельзя более общие вариант. Если в УРЛ не указана страницы (т.е. УРЛ заканчивается на "/" дописывать index.shtml?
Была произведена автоматическая блокировка IP-адресов Google из-за чрезмерного количества одновременных запросов к одному из сайтов. Аналогичные блокировки производятся в процессе фильтрации трафика для первичной защиты от DDOS-атак.
Сейчас IP-адреса внесены в белый список.
Форматирование тоже победил.
В php файле указал явно кодировку.
<?php
header('Content-Type: text/plain; charset=utf-8');
?>
И вывод стал нормальным. https://legendtour.ru/robots.txt
Напишите пожалуйста свои сайты. Буду опять жаловаться хостеру. Я уже пару раз им писал. Но отписываются что все нормально. Пусть ищут. И напишите IP своих сайтов (можно посмтреть в панеле управления). У меня заканчиваютсмя на ххх.ххх.50.145 Если сидят еще и на одном айпишнике!
Подскажите у вас случайно хостер не hts.ru а то у меня смутные сомнения, что может какой то IP где то заблокирован. Или не заблокирован, а вот этот robots.txt как то связан с IP адресом сайта. Сейчас хочу попробовать подкупить выделенный IP. Посмотрим может это поможет.
Большое спасибо, что обратили внимание на тему.
В сети я встречал еще пару раз такие случаи, но никто толком ничего не решил.
1. Настроил редиректы. Да у меня там был беспорядок.
2. Главное зеркало https://legendtour.ru/
3. С форматированием боролся, но не поборолся.
Да файл выглядет как вы показали.
Но если смотреть код страницы
то выглядет нормально.
Это связано с тем что у меня на самом деле файл robors.php И в зависимости от того какой домен обращается к нему формируется свой файл. В файле .htaccess у меня стоит перенаправление с robots.txt на robots.php ( у меня двухязычный сайт русский и анлийская версии. В связи с обстановкой в мире решили сделать 2 разных сайта, т.к. иностранцы сайт в домене РУ воспринимают ненормально. Но у меня на сайте много фоток, более 4000 мегабайт, лежащих в общей папке для двух сайтов). Поэтому так и сделано.
4. Да в Гугле он частично проиндексирован. Но сейчас я на переобход не могу отправить ни одну страницу. Т.к. сразу выскакивает ошибка, что страница запрещена к индексированию в фале robots.txt
И в гугловской консоле в разделе сайтмэпс, стоит пометка файл не получен. Ошибка: При попытке скачать ваш файл Sitemap произошла ошибка. Убедитесь, что он находится по указанному адресу и роботам Google не запрещен доступ к этому файлу. Пробую проверить файл. Гугл отвечает, что данный файл заблокирован в файле robots.txt
5. Еще один симптом. Панель управления Микрософт Bing. При сканировании сайта Ошибка Bingbot IP заблокирован. Сайт заблокировал обход BingBot. (Это если стоит галочка, что не учитывать запреты в robots. Если не ставить, то сайт вообще не сканируется (только начальная страница и все).
Написано
Войдите на сайт
Чтобы задать вопрос и получить на него квалифицированный ответ.
Мне реально пользователь dodo512 очень помог. Потому, что задача не типичная. Вы простите, но я думал, что ХАБР и предназначен для помощи. Если у вас нет времени - ну пропустите мое сообщение...
А насчет того что у меня НЕТ ВРЕМЕНИ . То ситуация такая. У меня сайт влетел под каток Баден-Бадена на Яндексе. И я уже несколько месяцев карабкаюсь из этой ямы. Когда Яндекс в сутки может сотню страниц исключить из поиска а потом через неделю их же включить в поиск. На прошлой неделе я внес изменения в htaccess и (обработка ошибок 410, потому, что многое удаляю с сайта). И где-то чуть ошибся и обработка попала в цикл. И за ночь, у меня у меня вылетела критическая ошибка, что 50 страниц - долгий отклик сервера. Я файлик конечно поправил, но время упустил. Вот теперь еще с этим бороться. Вот поэтом НЕТ ВРЕМЕНИ. Да, я учесь. Но не успеваю.