Задать вопрос
@JonMongol

Проблема с файлом robots.txt в Google Search Console. Откуда он его берет?

Помогите пожалуйста. Есть сайт legendtour.mn все было нормально, но вдруг заметил ошибку при индексировании, что стали появляться файлы запрещенные к индексировани. в фале robots.txt через панель Google Search Console смотрю файл robots.txt Но это не мой файл.
там стоит полностью запрет на обход сайта
User-Agent: Yandex
Disallow: /
Host: www.hoster.ru
User-Agent: Googlebot
Disallow: /
User-Agent: *
Disallow: /

Причем если нажать на ссылку "открыть опубликованный файл" то открывается нормальный файл.
Сейчас он выглядет так
User-agent: *
Allow: /
Я удалили все правила, оставил только вот это.
Но гугл при каждом переобходе находит предыдущий текст.
Я уже удалял полностью свой файл на сутки. Но гугл все равно его откудато берет.
В панеле Яндекса все нормально! Он видит мой файл, индексация есть.
Что делать? Сайт уже двое суток не появляется в поиске!
Скриншот моего файла robots.txt
6645dd29c83d7636675955.jpeg
Скрин панели управления
6645dd348f642576656707.jpeg
  • Вопрос задан
  • 207 просмотров
Подписаться 1 Сложный Комментировать
Пригласить эксперта
Ответы на вопрос 3
vpetrov
@vpetrov
частный SEO-специалист
Настройте редиректы на главное зеркало, сейчас все зеркала отдают 200.
Во-вторых, у вас robots.txt выглядит вот так:
User-agent: * Disallow: *.epub Disallow: *.djvu Disallow: /404.php Disallow: *?* Disallow: *menu*.shtml Disallow: /bot.shtml Disallow: /?* Disallow: *rmp.shtml Disallow: *txt1.shtml Disallow: *txt2.shtml Disallow: /rus/ Disallow: /eng/train-ticket/ Disallow: /eng/russia/trans-siberian-railway/ Disallow: /eng/mongolia/fishing/ Disallow: /eng/mongolia/text/ Disallow: /eng/mongolia/informations/ Disallow: /eng/mongolia/ub/ Disallow: /eng/mongolia/ulaanbaatar/ Disallow: /forum/ Disallow: /eng/mongolia/tour/index.shtml Disallow: /eng/mongolia/pictures/foto.shtml Sitemap: https://legendtour.mn/sitemap_mn.xml
Почему сайтмап указывает на неглавное зеркало? Что с форматированием?
Ну и в третьих - всё в порядке с индексом в Гугле, что значит не появляется в поиске?
Ответ написан
@DemonF
Присоединяюсь к вопросу. У меня аналогичная ситуация с сайтом https://helpadmins.ru/. Файл Robots в консоли гугл отображается как:

User-Agent: Yandex
Disallow: /
Host: www.hoster.ru

User-Agent: Googlebot
Disallow: /

User-Agent: *
Disallow: /

Хотя в реальности этот файл другой: https://helpadmins.ru/robots.txt.

Что происходит с гуглом?

664b25226c500450371832.png

664b254f156a8963604329.png
Ответ написан
@JonMongol Автор вопроса
Написал в службу поддержки хостера:
Здравствуйте уважаемые товрищи.
Свою проблему так и не решил - обращаюсь опять.
Как говорят врачи - появился новый симптом.

Как писал в предыдущих обращениях в панели Google Search Console
Гугл откудато вытаскивает левый файл robots.txt
Вот такого вида.
-----------------------------------------------------
User-Agent: Yandex
Disallow: /
Host: www.hoster.ru

User-Agent: Googlebot
Disallow: /

User-Agent: *
Disallow: /
-------------------------------------------------------

Понятно, что в этом файле запрещена индексация всего сайта!!!
Но на моих сайтах
https://legendtour.ru/robots.txt
https://legendtour.mn/robots.txt

Если смотреть по ссылке совершенно другие записи!
Бьюсь с этим уже 10 дней!!!

Попросил помощи в решении вопроса на Хабре Проблема с файлом robots.txt в Google Search Console. Откуда он его берет?

Но на днях поступило сообщение от человека у которго аналогичная проблема.
Тот же самый левый файл robots.txt
Это человек - то же ваш клиент!!!!
helpadmins.ru
gomel-comp.by
Файлы у него расположены на том же сервере что и у меня!
IP адрес хх.110.50.145

Простите это совпадение?
Я не понимаю, что происходит.
Может у вас где-то выше корня моего сайта лежит этот файл robots.txt
Который хватает бот Гугла????

Может это айпишник где-то у гугла засветился?
Но я понимаю если бы его забанили, внесли в черный список.
Но нет - такого нет. Просто появляется долбанный robots.txt

Проверил еще сайты расположенные у вас под моим управлением:
interpol.ru
хх.110.50.117
С файлом robots.txt все ок. Он судя по айпишнику на другом сервере.
liepa.ru
хх.110.50.121
С файлом robots.txt все ок. Он судя по айпишнику также на другом сервере.

Попробовал для сайта interpol.ru
скопировал на него файлы
.htacces и robots.txt со своего сайта.
все прошло без проблем!
Google Search Console сразу в течении минуты цепляет новый файл и показывает его правильно!
Т.е. в моих файлах нет ошибок!!!

Да и дополнительно. Тоже симптом.
Когда я в Google Search Console отправляю на переобход файл robots.txt с домена legendtour.ru или legendtour.mn
Переобходи идет до нескольких дней!!!!
А другие сайты interpol.ru или liepa.ru МИНУТЫ!!!!!
Хотя я подозреваю тут играет роль и левый robots.txt
Если там все запрещено!

Вопрос - ВЫ МОЖЕТЕ СМЕНИТЬ ip ВСЕГО БЕСПЛАТНОГО СЕРВЕРА???
Или поискать может у вас где-то в настройках ВАШЕГО сервера с этим IP сидит вышеуказанный файл robots.txt

ПРОБЛЕМА РЕШЕНА!
Была произведена автоматическая блокировка IP-адресов Google из-за чрезмерного количества одновременных запросов к одному из сайтов. Аналогичные блокировки производятся в процессе фильтрации трафика для первичной защиты от DDOS-атак. Сейчас IP-адреса внесены в белый список.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы