Получит ли мой сайт вес от внешних ссылок, которые я добавил в robots.txt?

Question

[Иван Антонов]

Здравствуйте, народ.

Работаю над устранением дублирующих страниц на сайте, добавил в robots.txt строку:
Disallow: /*?a=*

При просмотре внешних ссылок заметил — очень много сайтов ссылаются на эти страницы.
Получит ли мой сайт вес от внешних ссылок, которые я добавил в robots.txt?

Answer 1

[Максим Тимофеев]

Теоретически они уже проиндексированы и сразу не пропадут и видимо вы будете терять ссылочную массу по мере того, как поисковик, будет их выкидывать.

Я думаю лучше не убирать, а прописать для них url canonical ибо он для этих случаев и создан
https://support.google.com/webmasters/answer/13906...
Тогда они просто уйдут из результатов поиска отдав вес канонической странице

Comments

[Иван Антонов]

а если вместо Disallow использовать Noindex?

[Максим Тимофеев]

Иван Антонов: Лучше не трогать robot.txt в данном случае и сделать канонический урл
конкретно по noindex и disallow - разница не велика и обычно советуют использовать и то и то, так как гугл игнорирует noindex

[Иван Антонов]

а если я настрою canonical, то мета тег robots уже не нужен?
<meta name="robots" content="noindex, follow">
Я эту мету использовал против дублей страниц с параметрами page и sort.

[Иван Антонов]

Максим Тимофеев: Или может следует воспользоваться параметром Clean-param в robots.txt

[Максим Тимофеев]

Иван Антонов:

а если я настрою canonical, то мета тег robots уже не нужен

на мой взгляд нет

Answer 2

[Иван Антонов]

Нашел подходящее решение. С помощью robots.txt можно удалить неиспользуемые GET-параметры.
Clean-param.

Answer 3

[Natan]

Иван Антонов пропишите канонические ссылки для целевых страниц (атрибут rel="canonical") . И часть директив Disallow окажутся просто не нужны, после апдейта увидите.

Получит ли мой сайт вес от внешних ссылок, которые я добавил в robots.txt?

Вы путаете внешние ссылки с внутренними. Внешние ссылки так и останутся в индексе, независимо от того сколько страниц вы закроете disallow на своем сайте. Но толка от таких внешних ссылок не будет, получается что полезная страница просто закрыта для ПС, что противоречит принципам линковки.

Comments

[Владислав Яновский]

AFAIU Автор имел в виду, будет ли толк от внешних ссылок, ведущих на закрытые от индексации страницы. Поэтому на передачу веса, все же, это повлиять может.

[Иван Антонов]

Именно так как сказал Владислав Яновский
Natan извиняюсь, неправильно сформулированный вопрос.

[Natan]

Владислав Яновский: до конца не ясно, что конкретно имел ввиду автор. Если у него есть одна оригинальная страница и она просто доступна по пачке адресов, то тут прописать canonical и будет ему счастье. Просто бессмысленно использовать disallow в такой ситуации.

Автор имел в виду, будет ли толк от внешних ссылок, ведущих на закрытые от индексации страницы

Внешние ссылки так и останутся в индексе, независимо от того сколько страниц ТС закроет disallow на своем сайте. Но толка от таких внешних ссылок не будет, получается что полезная страница просто закрыта для ПС, что противоречит принципам линковки.
Даже если он удалит свой сайт полностью, внешние ссылки все равно останутся и будут передавать вес - в никуда. :)

[Natan]

извиняюсь, неправильно сформулированный вопрос.

Иван Антонов окей, ниже я уже ответил.