Перейдет ли ПС по ссылке если страница в robots.txt?

Question

[Дмитрий Куликов]

На сайте есть ссылки на страницу например /link.php
На ссылках нету rel="nofollow" но в robots.txt есть заметка
Disallow: /link.php*
Будет ли поисковая система заходить на данную страницу?
Если да, то как можно запретить ПС посещать определенную страницу?

Answer 1

[Nikolay]

Запретить никак, захочет так зайдёт куда угодно. nofollow - запрещает ссылку к индексу. robots.txt - запрещает индексацию страницы.

Я задавал вопрос когда то в Яндекс:

Здравствуйте!

У меня есть страница на сайте, которую я не хочу видеть в поиске, я её закрыл от индексации в robots.txt.
Но на эту страницу ссылается много других страниц, как внешних так и внутренних.

Вопросы:

1) Если количество ссылок будет увеличиваться, то робот в какой то момент решит её добавить в индекс или он всё таки будет всегда руководствоваться запретом в robots.txt ?

2) Нужно ли ссылки ведущие на страницу закрытую в robots.txt окружать тегами или не нужно или это роли не играет ?

Ответ:

1. Наш робот не индексирует запрещённые в robots.txt страницы ни при отсутствии на них ссылок, ни при наличие какого бы то ни было количества таковых.

2. Никакой существенной роли это не играет. Есдинственное, на что влияют ссылки на запрещённые к обходу страницы - это на хранение информации об этих страницах в базе робота. При отсутствии ссылок информация о них полностью удаляется из базы робота. При наличии ссылок, робот помнит о страницах, чтобы в случае снятия запрета быстро их проиндексировать.

Answer 2

[Дмитрий Филимонов]

Если нужно, чтобы эти ссылки не попали в выдачу, то robots.txt хватит. Он говорит поисковому боту, куда переходить не нужно, для этого и создавался этот файл. Понятное дело, что бот может туда перейти, если захочет, этот файл носит рекомендательный характер, однако поисковые системы вроде Гугла/Яндекса следуют правилам в robots.txt.

Насчет rel="nofollow": он не нужен. Подробнее о нем я недавно отвечал в другом вопросе.

Поэтому ответ такой: поисковая система не будет заходить на эту страницу, индексировать ее не будет.

Answer 3

[un1t]

Конечно перейдет, запретить нельзя. А в чем проблема если поисковый робота туда перейдет?

Answer 4

[aldous]

Для Google:

robots.txt есть заметка
Disallow: /link.php*
Будет ли поисковая система заходить на данную страницу?

Матчасть:
Robots.txt - конфиг, управляющий доступом для краулера. По русски процесс - сканирование.
В примере доступ к ссылке запрещён, сканироваться эта страница не будет. Если она однажды проиндексировалась, то больше в связи с этим не обновится в индексе.
Ответ ближе к "нет". Этот процесс выглядит несколько иначе, чем просто "заходит-не заходит".

Если да, то как можно запретить ПС посещать определенную страницу?

Метатег robots с параметром noindex полностью запретит и сканирование и индексирование, и исключит страницу из результатов поиска.