Почему Google ругается на robots.txt?

Question

[RuWproSha]

Google не индексирует сайт, ссылаясь на блокировку в robots.txt. Хотя в robots.txt нет блокировки для индексации. Директивы задавал следующие (а так же много других разных вариантов перепробовал):

User-agent: *
Allow: /
Dissallow:

Я даже удалял сам файл robots.txt, но Google все равно выдает эту ошибку. Т.е. файла непосредственно не существовало, Но Google ссылался на блокировку в нем.

Есть кто-то, кто может подсказать что происходит?

Comments

[wisgest]

Т.е. файла непосредственно не существовало

А посредственно существовал? Имеет значение не файл, а ответ на HTTP-запрос.

[RuWproSha]

wisgest, А можно чутка подробнее? Потому что я не понял что нужно предпринять
Спасибо

[wisgest]

RuWproSha, откуда же мне знать, что предпринять, я ведь не знаю, что возвращается при запросе /robots.txt, после того, как вы удаляете файл. Может быть, этот файл вообще не при чём.

[RuWproSha]

wisgest, так даже когда файл есть и в нем указаны директивы:
User-agent: *
Allow: /
Dissallow:
Google ругается на него.
К тому же если файла не существует, согласно информации в интернете, то робот сканирует все.

Суть вопроса:
Почему Google ругается на robots.txt?
Есть кто-то, кто может подсказать что происходит?

[RuWproSha]

wisgest, к тому же, если "Может быть, этот файл вообще не при чём", то в чем тогда дело?

Суть вопроса:
Почему Google ругается на robots.txt?
Есть кто-то, кто может подсказать что происходит?

[BorLaze]

RuWproSha, тебя ж уже дважды спросили - вопрос не в том, что в robots.txt, вопрос, что возвращается на запрос http(s)://URL/robots.txt

[RuWproSha]

BorLaze, Возвращается текст, содержимое robots.txt
User-agent: *
Allow: /
Dissallow:

[RuWproSha]

wisgest, BorLaze, Я тестил Яндексом, он находит robots.txt и выдает текст именно тот, который в нем и написан. Т.е. по логике это тот файл. Менял его в режиме реального времени и перезапускал тест от Яндекса и он показал уже обновленный результат. Получается что файл я правлю верный, к нему есть доступ и т.п.. А вот гугл ругается на то, что robots ему запрещает сканировать, даже если его удалить и он не существует.
Получается, что если Роботс удалить, все должно работать автоматически, полный доступ на скан всех файлов сайта для всех ботов по дефолту, однако вылазит ошибка.
А так же если и разрешить в Роботсе, - тоже ошибка. Интернет облазил, не нашел инфы, потому и пишу сюда, может я что-то в корне не так сделал?

[wisgest]

RuWproSha, попробуйте запросить robots.txt, указав User-Agent робота Google (хотя, возможно, дело не в нём, а в IP, с которого поступает запрос), например, при помощи redbot.org, Rex Swain's HTTP Viewer, bertal.ru; к сожалению, этим средством у меня сейчас не получилось воспользоваться.

[RuWproSha]

wisgest,

вот лог с redbot.org


вот лог с bertal.ru


вот лог с Rex Swain's HTTP Viewer,

[galaxy]

Dissallow:

не смущает?

[RuWproSha]

galaxy, Это я вручную писал в комменте, описка. В роботсе все верно, я только что проверил, обрадовавшись :)

[BorLaze]

Интересно... а мне bestsert.by/robots.txt вот такое возвращает:

User-agent: *
Sitemap: /sitemap/sitemap.xml

И гугловая консоль ругается на Sitemap; потому что там надо полностью путь указывать: Sitemap: http://bestsert.by/sitemap/sitemap.xml

[RuWproSha]

BorLaze,
1: robots.txt вы сейчас видели уже модифицированным по отношению к тому варианту, который был в статье вопроса.
2: даже этот пример, который вы увидели, обратившись к robots.txt через адрес, не блокирует индексацию
3: сайт-мап не блокирует индексацию, а адрес я исправил. Это замечание было верным
4: САМОЕ ГЛАВНОЕ: индексация заработала... сама по себе, чудесным образом. Я ничего не делал и на след. день все само заработало. Почему так было, я так и не понял.

Answer 1

[Александр Карабанов]

Убери Dissallow:

Answer 2

[N N]

Dissallow: неверно написан. Нужно Disallow.