Как убрать неправильные URL?

Question

[Алексей]

Всем привет! У меня на сайте не используются ссылки которые заканчиваются например на index.php, но гугл их как-то находит, причем ответ сервер отдает 200 даже если после php еще что-то прописано.
Все ссылки у меня имеют вид site.ru/catalog/news/
как правильно сделать, чтобы и робот не индексировал эти странице и нужно ли сделать так, чтобы и сервер отдавал 404? Сейчас же он выводит главную страницу

Answer 1

[Станислав Кириченко]

Посмотри инструкцию по Robots.txt, так же, есть вариант с помощью мета тега запретить индексацию.