Можно ли закрыть от индексации robots?
Можно, это хорошая идея. Оставить только корень, а дубли индексировать запретить.
Или лучше все таки поставить редирект?
Для SEO значения не имеет. В обоих случаях дублирующие страницы пропадут из поиска.
Это может быть полезно для пользователей и их закладок, чтобы они перемещались с index.php и index на корень сайта, заходя по старым ссылкам вручную.
Только убедитесь, что сам сайт не использует index в качестве URL на важных операциях. Например MediaWiki по умолчанию строит все ссылки и операции от index.php. Если на нём будет стоять редирект, то любая операция будет скидывать пользователя в корень.
Гипотетически, впрочем, это ничего не сломает, ведь запрос всё-равно доедет до index, просто с другим URL.
Но у меня что то не получается поставить редирект с site.ru/index!
Это можно сделать средствами веб-сервера.
Например для
nginx:
server {
server_name yoursite.ru;
.......................
.......................
location /index {
return 301 https://yoursite.ru/;
}
}
Для поисковика важно объявить код 301 (Moved Permanently), тогда он перестанет индексировать эти ссылки, считая, что они все навсегда переехали в корень.