Как закрыть полностью сайт от индексации и удалить из поисковиков?

Question

[Justin Bieber]

Нужно быстро удалить сайт из поисковиков гугла, яндекса и майла и чтоб сайт больше не мог индексироваться ботами, что делать в таком случае?

Comments

[Axian Ltd.]

Отключить от Интернет? Robots.txt уже пробовали?

[Фёдор]

1 .Самый просто способ удалить сайт с хостинга. Так все страницы быстро повылетают.
2. Прописать в роботс дизалоу на всё.
3. Закрыть все страницы через мета роботс ноуиндекс ноуфоллоу

[ivleva_m]

можно отдавать контент но с заголовком 404 + дисалоу в роботсе

Answer 1

[Юрий]

Добавьте в файл .htaccess:

SetEnvIfNoCase User-Agent "^Yandex" search_bot
SetEnvIfNoCase User-Agent "^Yahoo" search_bot
SetEnvIfNoCase User-Agent "^Googlebot" search_bot
SetEnvIfNoCase User-Agent "^Aport" search_bot
SetEnvIfNoCase User-Agent "^msnbot" search_bot
SetEnvIfNoCase User-Agent "^spider" search_bot
SetEnvIfNoCase User-Agent "^Robot" search_bot
SetEnvIfNoCase User-Agent "^php" search_bot
SetEnvIfNoCase User-Agent "^Mail" search_bot
SetEnvIfNoCase User-Agent "^bot" search_bot 
SetEnvIfNoCase User-Agent "bot" search_bot 
SetEnvIfNoCase User-Agent "^igdeSpyder" search_bot
SetEnvIfNoCase User-Agent "^Snapbot" search_bot
SetEnvIfNoCase User-Agent "^WordPress" search_bot
SetEnvIfNoCase User-Agent "^BlogPulseLive" search_bot
SetEnvIfNoCase User-Agent "^Parser" search_bot
SetEnvIfNoCase User-Agent "^Googlebot-Image" search_bot
SetEnvIfNoCase User-Agent "^StackRambler" search_bot
SetEnvIfNoCase User-Agent "^Adsbot-Google" search_bot
SetEnvIfNoCase User-Agent "^WebAlta" search_bot
SetEnvIfNoCase User-Agent "^Googlebot-Mobile" search_bot
SetEnvIfNoCase User-Agent "^YandexImages" search_bot
SetEnvIfNoCase User-Agent "http://www.google.com/bot.html" search_bot
 
<FilesMatch "^.*$">
Order Allow,Deny
Allow from all
Deny from env=search_bot
</FilesMatch>

И файл .htaccess с этим кодом можно расположить в любой папке на сервере, которую хотите запретить от индексации.