Как запретить индексацию реф ссылок в robots.txt (дублей)?
Доброго!
Есть лендинг, на который лью трафик рефералы:
/landing
Подскажите что прописать в роботс тхт? Чтобы оставить лендинг в поиске но запретить дубли ее такого типа:
/landing?ref=70
/landing?ref=71 и т.д
В robots ничего. Добавьте в <head> тег <link> с атрибутом rel="canonical" на ваш лендинг и он укажет на каноническую страницу и консолидирует дубли url на неё. Ну и в целом почитайте про этот атрибут.