Robots.txt и чпу, что делать?

Question

[Stanislav]

Привет. Не смог найти в интернете подробную информацию по правильному использованию данного файла.

Допустим у меня есть сайт, построен по архитектуре mvc, изначально ссылки имеют тип site.com/index.php?r=controller/action, mod-rewrit'ом делаем чпу и получаем site.com/controller/action или что-то подобное. Каким тогда образом прописать allow для site.com/a/b / site.com/index.php?r=a/b ? Следует писать Allow: /a/b ?

Answer 1

[Дмитрий Дарт]

Да следует писать Allow: /a/b про site.com/index.php?r=a/b забудьте, его не видит никто кроме сервера.
Запретить каталог будет Disallow: /b/*

Answer 2

[Сергей Давлятов]

Если у вас из поиска есть трафик, то правильно будет, настроить 301 редирект. Потому что страницы с динамическим колом уже в индексе