Хорошо ли для SEO блокировать часть ссылок в robots.txt?

Question

[Lexxtor]

robots.txt:

User-agent: *
Disallow: *sort=*

У меня основная часть сайта - большая таблица поделенная на более 100 страниц. В таблице штрих-коды товаров, названия и цены. Над колонками есть ссылки для сортировки, 5 штук, вот их то я и заблокировал, исходя из того что важна индексация контента, а не кол-во ссылок на него.

До того как я это сделал по некоторым запросам (штрихкодам) гугл выдавал результаты зафлуженные мои сайтом (8 из 10 ссылок в результатах вели на мой сайт). Это вроде исправилось, но теперь я подумал, может это наоборот было хорошо? Яндекс показывает что 453 страниц запрещены файлом robots.txt

Answer 1

[Михаил]

Результаты сортировки, как и результаты поиска с вашего сайта не должны попадать в индекс поисковых систем т.к. они будут восприняты как дубли основного контента.

В Яндексе с этим следует бороться средствами robots.txt, в Google есть для этого специальный инструмент - Параметры URL

Comments

[Lexxtor]

Однако, судя по тому что результаты поиска зафлудились, контент не был воспринят как дублированный? Если бы я оставил как было, то к чему бы это привело?

[Михаил]

Lexxtor: Штатный телепат в отпуске так что точно сказать не могу =) Дублированный контент без проблем может попадать в индекс. В выдачу попасть сложнее, для этого должна быть или низкая конкуренция или\и высокая релевантность запросу. И даже если бы он был в выдаче это не гарантирует того, что вы со временем не получите автоматический или ручной штраф.