Как скрыть псевдо страницы с фильтрами от индексации Яндекса?
Есть сайт, новый. У него есть страницы каталога. На этих страницах можно применять различные сортировки.
Пример:
domen.ru/page/?order=popularity
domen.ru/page/?order=price_asc
и тд
Такие страницы индексируются Яндексом, а мне этого не нужно
Я сделал такие записи в robots.txt
Disallow: /?order=*
Disallow: /?order=?
Disallow: /?order=popularity
Disallow: /?order=price_asc
Disallow: /?order=popularity?
Disallow: /?order=price_asc?
И в яндекс.вебмастере
В разделе "удалить url" аналогичные команды указал. Но такие страницы продолжают индексироваться
Ну, во-первых, вы в Disallow исключили параметр order только для главной страницы, а у вас подстраница /page/ Disallow: /page/?*order=* - как-то так будет веселей.
Вам нужно добавить канонические ссылки на основную страницу со страниц с GET-параметрами (если на основной будет ссылка сама на себя - ничего страшного)
Для Яндекса отдельно есть директива clean-param, лучше добавить и её.
Закрыть от индексации, прописав в коде страниц-фильтров до /head - .
Чтобы это сработало, надо убрать из robots.txt запрещающие директивы на те страницы, на которых прописываете "noindex, follow"