Только помните, что robots.txt управляет доступом, то есть сканированием, а не индексированием. Проиндексировать URL можно и не заходя на него, хотя информации о содержании страницы у о поисковика тогда не будет.
Конечно, же пользуйтесь robots.txt, но для исключения индексирования (как превентивного, так и пост-фактум) для Google лучше всего использовать
метатег noindex. Кроме того полезно ознакомиться с разделом
Параметры URL в WMT.