Почему запрет # приводит к запрету индексации всего сайта?

Question

[airbor]

Если в robots.txt указать запрет всех страниц с символом # то это приводит к запрету индексации всего сайта, всех страниц, даже не содержащих этот символ. Почему?

Answer 1

[Антон Величко]

Cимвол # в robots.txt используется только для комментариев, которые игнорируются роботами поисковых систем. В директивах файла robots.txt символ # - не используется.

Закрывать страницы, содержащие символ # в конце URL не требуется, т.к. они не попадают в индекс поисковых систем, из-за того, что поисковики расценивают два URL-а, как один:
site.ru/url
site.ru/url#abc

Comments

[airbor]

Понял. Через сколько после удаления:

Disallow: *#

То есть фактического:

Disallow: *

Поиск заново выкачает к себе robots.txt и будет учитывать исправленный? Пока что тесты в Search Console работают будто старый роботс с ошибкой еще на сайте, хотя его уже нет.

[Антон Величко]

airbor, инструкция для ускорения переобхода Google измененного файла robots.txt: https://support.google.com/webmasters/answer/60783...