Никак.
Файл robots.txt лишь даёт роботам инструкции о том, стоит ли сканировать и индексировать конкретные URL-адреса или их наборы, при этом роботы могут их игнорировать и всё равно индексировать страницы, если на них не используется мета-тег Robots со значением noindex
.