Как правильно закрывать технические каталоги и дубликаты страниц сайта из индексации Google?

Question

[Oleg Keeach]

Продвигаю несколько сайтов на CMS Opencart, и возник вопрос по закрытию от индексации технических страниц и каталогов:

Ссылка на robots.txt на одном из этих сайтов - miumia.net.ua/robots.txt
и ссылка на сайтмапу - miumia.net.ua/sitemap.xml

Вот пример страницы при переходе из категории на сайте - miumia.net.ua/katalog-tkanej/byaz-dlya-poshiva?pro...
Вот пример страницы дубликата (из модуля просмотренные товары скорее всего) - miumia.net.ua/index.php?route=product/product&prod...

Как подобные страницы эффективнее и правильнее исключить из индексации:
1) Прописать ЧПУ на категории и товары, а остальные технические страницы в роботсе закрыть?
2) Прописать на каждой ненужной для поисковика странице <meta name=“robots” content=“noindex,nofollow”> + исключить их в роботсе (и есть ли смысл закрывать их и в роботсе и на каждой отдельной странице)?
3) Или есть плагины, которые прописывают ЧПУ для Opencart (если товаров мало, то можно вручную прописать, но когда их сотни и тысячи - тяжко :С )?

И хотелось бы узнать - если в начале оптимизации робот Google уже проиндексировал все эти технические каталоги и дубликаты страниц - и я начну оптимизировать способами указанными выше эти сайты и отправлю изменения в Google Webmaster, - сколько потребуется времени (примерно), чтобы они выпали из индекса и выпадут ли они вообще такими способами?

Заранее спасибо, опыт в оптимизации и продвижении небольшой и адекватной инфы по этому поводу узнать пока не от кого :)

Answer 1

[Александр]

robots это только рекомендации роботу, это значит, что он может игнорировать. Согласно справке гугла запретить попадание в индекс можно:
- ответ сервера кодами 40*
- специальный заголовок в ответе сервера
- meta name=“robots” content=“noindex,nofollow"
если в индекс попали страницы, или есть ссылки извне, то robots будет игнорирован, правда в выдаче будет написано, что результат скрыт и т.д., но судя по всему этот контент будет участвовать в ранжировании

Comments

[Oleg Keeach]

И каким же способом можно их удалить из индекса - meta name=“robots” content=“noindex,nofollow" - этим? Со временем они не выпадут при наличии только роботс?

[Александр]

если вы сделаете то что я написал, то конечно выпадет, вначале из выдачи, потом из индекса.
если будет код 404 или 410 удаление вообще из памяти гугла доходит до 180 дней. Остальные варианты значительно быстрее, зависит от скорости обхода, если сайт мало интересен гуглу, тогда дольше процесс.

[Oleg Keeach]

Александр, спасибо большое за совет. Т.е. ноиндекс, нофоллоу на каждой странице и отправить на переиндекспцию в вебмастере?

А если прописать чпу для них, то эти дубликаты в выдаче ж останутся? Все равно для них ноиндекс прописывать?

[Александр]

если убрать дубликаты нельзя, тогда нужно использовать в метатеге canonical в которой указывается верная страница, как вам посоветовали здесь. Отправлять на переиндексацию можно ограниченное кол-во страниц, и не факт что это сработает, все это только рекомендации роботу.
А еще лучше, заменить вашу систему управления сайтом на нормальную, в которой нет этих проблем.

[Oleg Keeach]

Александр, понял, т.е. когда пропишу чпу для них, то и каноникал на них сразу нужно прописать? Мне просто понять нужно что делать, подскажите - все вышеперечисленное - прописать чпу + каноникал на них, затем ноиндекс и нофоллоу на старые ссылки?

[Александр]

если программно удалить не нужные страницы нельзя, тогда просто каноникал и все, больше ничего, по мере обхода робот склеит и все.

[Oleg Keeach]

Александр, я понял, спасибо большое за консультацию :)

[ProgerMir]

Александр, на нормальную cms - какие cms нормальные? И какая самая нормальная?

Answer 2

[Пума Тайланд]

Наверняка там можно настроить каноникал урл и не мучатся с закрытием

Comments

[Oleg Keeach]

Вы имеете ввиду, что если прописать каноникал, то старые уйдут из индекса?

[Пума Тайланд]

Oleg Keeach, что такое старые?
Как это может быть связано с каноникал?

[Oleg Keeach]

Пума Тайланд, я имел ввиду, если каноникал прописать для нужных мне страниц, затем прописать для них чпу, то старые без чпу или их дубликаты исчезнут из индекса и выдачи?

П.С.: Под старыми ссылками я подразумевал ссылки без чпу, т.е. если где-то на них уже ссылаются, то они же не исчезнут из индекса правильно или каноникал поможет?

[Пума Тайланд]

Oleg Keeach, в индексе будет каноникал урл