Почему google не видит robots.txt?

Question

[Gabib]

гугл перестал видит у сайта, сам сайт блокирует иностранные айпи, но проверял на доступность для ip-адресов googlebots, все возвращают 200 ответ, нигде не стоит блокировок или что-то подобного. User-agent googlebots также доступен. Перестал видеть роботс где-то в ноябре-октябре, сайт переезжал. В GSC говорит ошибку "Эту страницу нельзя проиндексировать: Страница недоступна из-за проблемы со всем сайтом"
Сайт работает, но к роботс, а соответственно с sitemap.xml

Comments

[Дмитрий]

ссылку можно?

Answer 1

[Пума Тайланд]

У Гугла нескольуо списков айпи для сервисов около 6 штук видимо какой то из них вы не добавили в размещенные

Comments

[Gabib]

Если ты про эти, то все доступны
https://developers.google.com/search/apis/ipranges...

[Пума Тайланд]

Gabib, это один список из 6 списоков Гугла
Неудивительно что не доступен

[Gabib]

Пума Тайланд, Так, а какая разница?
Это именно поисковые googlebots, я конечно сейчас проверю остальные, но и они будут доступны, тут проблема в чем-то другом(

[Пума Тайланд]

Gabib, ну вы закрыли иностранные айпи , гугл перестал после этого видеть ваш сайт
открыли один список но там опять такие не все айпи
мы уже делали тоже самое и ловили ту же самую ошибку не так давно решилось доабвление всех списокв гугла в белый список вот и все

[Gabib]

Пума Тайланд, Проверил, все гугловские ip работают, возвращают 200 ответ.

[Пума Тайланд]

Gabib, а все это какие ?

Answer 2

[fbi_agent26]

о боже, ошибок в тексте море, тебе бы лучше на курсы русского языка сходить...
а по поводу доступности - в google search console можно ввести ссылку, нажать энтер и бот пойдет на нее, дальше будет видно что с ней не так.
если там редирект стоит - бот покажет код ответа 200 и страницу на которую идет редирект.
P.S. карта сайта давно не работает, индексировать сайт нужно через API

Comments

[Gabib]

Господи, все мы такие умные, а читать не научились? Извините, что мой родной язык не русский, но тот факт, что ты даже не увидел, что я сделал это уже. Редиректа не стоит, всё нормально, всё открывается, везде доступно, но выдаёт ошибку

В GSC говорит ошибку "Эту страницу нельзя проиндексировать: Страница недоступна из-за проблемы со всем сайтом"

Карта сайта не работает, также, как и сео умерло?

Я бы на твоем месте, сначала читать научился, а потом бы уже ответы писал. Удачи тебе, посмешил)

[fbi_agent26]

Gabib, к чему ты задаешь глупые вопросы если ты споришь с умными ответами потом?
Ответ на решение проблемы указан выше, если ты хочешь с кем то поспорить - поспорь с одноклассниками, мне это не интересно