Как поведет себя поисковая система?

Question

[Константин]

Допустим есть сайт на котором есть всего 3 страницы на них есть разный какой-то текст
example.com , example.com/page1.html, example.com/page2.html
Ссылки на эти страницы расставлены по цепочки
главная -> page1 -> page2
В robots.txt заблокирована только page1 для всех ботов. И не нет ни каких дополнительных meta тегов ни на одной странице.
Поисковый робот перед индексацией знает только о главной и в других источников(например другие сайты) информации о сайте нет.
Проиндексирует ли робот страницу page2. если ссылка на ее есть только на page1.
Ходит ли робот по ссылкам на заблокированных страницах.
Желательно ответ подтверждать ссылкой на документацию. Для простоты возьмем два поисковика Yandex и Google.

Answer 1

[pcdesign]

Робот зайдет везде, куда только можно зайти и проиндексирует все что не запрещено.
А то что запрещено тоже проиндексирует, просто это не будет участвовать в поиске, и он не будет строить снипеты.

И чтобы не быть голословным, вот сайт у которого robots.txt вот такой. То бишь запрещено все:

User-agent: *
Disallow: /

Гоша его прекрасно проиндексировал, но не создал снипетов. Скрин


Ну, а теперь документация, цитата: "Файл robots.txt сообщает поисковым роботам, какие страницы или файлы на вашем сайте можно или нельзя обрабатывать. Используйте его, чтобы ограничить количество запросов, которые получает ваш сервер, и снизить нагрузку на него. Этот файл не предназначен для того, чтобы запрещать показ веб-страниц в результатах поиска Google. Если вы не хотите, чтобы какие-либо материалы с вашего сайта были представлены в Google, применяйте директивы noindex. Также вы можете создать на сайте разделы, защищенные паролем."
https://support.google.com/webmasters/answer/60626...

Comments

[Константин]

Яндекс скорей всего сделает так же.
А если мы укажем noindex (и наверное nofollow)на странице page1. То в этом случаи page2 останется не проиндексирована? Или все равно проиндексируется. просто в выдачи не будит совсем page1?

[pcdesign]

Константин, имхо, второе, все равно проиндексируется. просто в выдаче не будет.

[Константин]

Получается noindex это не тоже самое что запретить страницу в robots.txt.
И если делать не осознавая можно заблокировать страницы даже которые ты не хотел заблокировать.

[dollar]

Константин, как ваш вывод следует из вышесказанного? Скорее наоборот, можно НЕ заблокировать страницы, которые хотел заблокировать.

[Константин]

Да наверное вы правы.
Мои выводы будут верны если указать nofollow или none в мета-теге.
https://developers.google.com/search/reference/rob...
Это наверное верно и для Яндекса.