Файл robots.txt используется для частичного управления индексированием сайта поисковыми роботами. Этот файл состоит из набора инструкций для поисковых машин, при помощи которых можно задать файлы, страницы или каталоги сайта, которые не должны индексироваться.
Но поисковые системы не обязаны ориентироваться на данный файл!
Закрывать разрабатываемый сайт надо по паролю или IP адресу
