Сколько путаницы.
Чтобы деиндексировать сайт, правильнее всего всем страницам присвоить мета "robots" со значением noindex.
Мгновенного результата это не даст. Впрочем, мгновенного результата это не даст при любом способе.
В robots.txt вы прописываете запрет на сканирование - что вовсе не равнозначно запрету на индексирование. В выдаче достаточно сайтов, сниппеты с которых не выводятся: скачивать странички запрещено директивами robots.txt. А ссылки в выдаче - есть. И даже в топах. Потому что даже если там есть мета с запретом на индексирование, ПС об этом узнать не могут - поскольку сканировать/скачивать страницу им нельзя.
Помимо мета рекомендую воспользоваться инструментарием Яндекс-Вебмастер и Search Console. Там есть инструменты, позволяющие напрямую запросить удаление из индекса ненужного контента.
И имейте в виду, что все эти меры в принципе ничего не гарантируют. Это лишь пожелания, не приказы. А тот же гуглобот по деиндексированным и удаленным URL может потом ходить годами. Зачем – не знаю.
