Как правильно удалить дубли одной страницы?

Question

[Александр Андропов]

Добрый день. Есть Главный файл сайта index.php. В вебмастере отображается такое:

Всё это соответственно одна страница index.php.

В поисковой выдаче, по некоторым запросам стоит страница /?ref=vc.ru хотя должна быть просто /

Как и где правильно настроить файлы, чтобы удалить подобные дубли и оставить один адрес доступа к главной страницы как /

Спасибо.

Answer 1

[Михаил Р.]

Попросить не индексировать страницы с любыми url параметрами и страницу /index.php, robots.txt:

User-agent: *
Disallow: /*?*
Disallow: /index.php

Comments

[Александр Андропов]

Disallow: /*?* Если я использую эту команду, правильно понимаю, что страница /?ref=vc.ru вылетит из индекса ?

[Михаил Р.]

Александр Андропов,

что страница

Любая страница с url параметрами, втч. указанная Вами.

вылетит из индекса

На данный момент - да, но robots.txt передает рекомендации, а не требования для ПС.

Answer 2

[Виктор Таран]

Возьмите за правило следующий постулат.
1. Все ссылки на вашем сайте должны быть оформлены через чпу.
2. Все ссылки без ЧПУ не должны учавствовать в поиске ( набросаные фильтры карзины и тд, это индексировать не нужно) соответственно в эту же кассу идут и все php|html|htm файлы, включая index.php?, и да пейдженация ТОЖЕ идет в лес! ибо это канибализация запроса.
3. Вывод.
1. Запрещяем в robots.txt индексировать ВСЕ гет параметры то есть вообще все урлы с GET
2. Настраиваете нормально ЧПУ.
3. Делеате для себя что-то подобное https://klondike-studio.ru/standards/standartnyy-h...
4. риал каноникал на урл без GET на всхе страницах сайта
И настолько идиотских вопросов у вас возникать никогда не будет и идиотские они не потому что вы идиот а потому что они частые бесполезные и правятся до того как СЕОшник к вам подошел.

Answer 3

[Дмитрий]

Сделайте редирект в .htaccess. Или обратитесь к хостеру, чтобы он сделал.

Comments

[Виктор Таран]

какой смысл у этих урл нет нормального веса.
миллионы страниц в индексе не работают уже лет 15
Эти страницы нужно просто закинуть в диссалоу и все.
веса с них ровно 0

[Дмитрий]

Виктор Таран, Дело не в весе. Robots.txt часто не решает проблему. Он отдельным роботом обслуживается. тем более, что изменения в robots очень долго применяются ПС.

Чтобы проблема быстро исчезла - лучше редирект настроить. Хотя бы этого /index.php

[Виктор Таран]

Дмитрий,
Все там нормально применяется, робот ходит сейчас очень быстро. если это не прям совсем помойка.
тем более проблемы в этом урл нет
Все что есть это урыл в индексе не имеющие веса которые можно найти только через site:
активности у них ноль, а если и есть то нужно добавить второе правило, кстати вверху его не написал сейчас добавлю.
риал каноникал на все урлы без гет НА ВСЕХ Страницах сайта! Всегда в шаблон занести
А вот почему УРЛ не отдает 404 вот это реально вопрос и вот его нужно решать.