robots.txt это рекомендации для ПС. Могут и проиндексировать даже disallow. Обычно там закрывают дубли и сопли. Лучше сделать, работы на час. site:domain.ru набираешь в яше и смотришь всякий хлам в выдаче.
ну както ж индексились сайты на html когда не кто не знал про этот файл, если создать файл то поисковику легче с вами работать а с кем легко того и любим