Как в robots.txt закрыть от индексации все ?get= запросы?
На одном самописном сайте используется чпу, поэтому там абсолютно нигде нету (?podobnyh=) запросов.
Но непонятно откуда начали появляться дубли вида: site.com/page/1/ == site.com?page=1 и тд
Решил убрать их из индексации через файл robots.txt и нашел такое решение:
Diversia, как оказалось есть, знак вопроса, стоящий сразу после имени домена, например, site.ru/? равнозначен индексной странице, поэтому есть риск вылета главной из индекса.
Лучше все таки прописать правила под определенные параметры Disallow: /*?*order=