Что значит disallow?

Question

[Shlyapa_1]

Disallow :/ и Disallow:
Оба одинаково запрещают индексацию сайта полностью?

Answer 1

[Александр Васильев]

Добрый день.

первый - запретить все
второй - запретить ничего, т.е. разрешить все

Comments

[Shlyapa_1]

Ну, тогда почему в базу яндекса не попало ни одна страница, но показывает что проверено около 500

[Shlyapa_1]

А если и 1 вариант и 2 второй вариант будет отсутсвовать, что тогда?
Сам я в этом не шарю

[Александр Васильев]

Shlyapa_1, все будет открыто

[Zettabyte]

Shlyapa_1,

почему в базу яндекса не попало ни одна страница, но показывает что проверено около 500

И у гугла и у яндекса в их вебмастер-тулс есть инструмент проверки robots.txt - на всякий случай перепроверьте, что все строки написаны корректно и используются.

Касательно же попадания в индекс может быть всякое - и простая задержка, и что-то, не понравившееся их нейросетям, и ещё что-нибудь.

Если уверены, что у вас с технической стороны всё в порядке, и нет очевидных косяков наподобие явно автоматического контента, то просто подождите. В современных реалиях не возьмусь судить сколько именно - давно не приходилось заниматься проблемами с индексацией.

[Shlyapa_1]

Zettabyte, да, я на их сервеисе проверял роботс 0 ошибок, а сайт мап он вообще не находит, а вот если вбить а дресную строку абсолютный путь то показывает, а яндекс говорит что его нет..мне просто сегодня днем уведомление пришло, мол база яндекса обновлена, но моих страниц нет по 0, правда только 8 день как я сайт выложил в сеть

[Zettabyte]

Shlyapa_1,

показывает что проверено около 500

Если есть такое, то по идее, робот по сайту ходит.
Может сейчас что-то и поменялось, но на основании не сверх-свежей информации, я не вижу оснований думать по-другому.

сайт мап он вообще не находит

Можно добавить в роботс строку Sitemap: https://www.VashSite.ru/sitemap.xml
Можно отправить сайтмэп в тех же вебмастер тулс.

правда только 8 день как я сайт выложил в сеть

На мой взгляд, вообще не срок. Самый минимум - две недели подождите, особенно, если сайт новый.
Раньше в гугле сайты могли и по два месяца и по полгода не появляться.

[Shlyapa_1]

Zettabyte, в рьботс эта строка есть, подожду тогда

Answer 2

[Zettabyte]

Оба одинаково запрещают индексацию сайта полностью?

Нет. Во-первых директивы всегда применяются к одному или нескольким User-agent, так что не должны стоять отдельно.

Во-вторых, ваша первая директива полностью запрещает доступ к сайту, однако она написана с ошибкой - пробел должен быть между двоеточием и слэшем:

User-agent: *
Disallow: /

Вторая - наоборот, разрешает полный доступ:

User-agent: *
Disallow:

Comments

[Shlyapa_1]

Я просто в кратце написал это здесь