Как временно закрыть индексацию сайта Яндексу и Гуглу .htaccess?
Здравствуйте. В связи с тем, что роботы яндекса и гугла обходят условия robots.txt, и все равно индексируют сайт.
Необходимо закрыть сайт на тех.работы, и вывести ботам отдельную страницу сайта
Собственно как сделать через .htaccess следующие:
Если на сайт заходит яндекс бот или гугл бот - выводим ему страницу "Ведутся технические работы"
Если на сайт заходят юзеры, то сайт открывается в обычном режиме.
Можно было бы закрыть вовсе, но есть команда тестеров, и добавить их всех в исключение сложно.
Также, как показывает практика, не смотря на то, что в яндекс веб мастере доступ к роботсу доступен, яндекс почему-то игнорирует запреты, и индексирует дальше.
В связи с тем, что роботы яндекса и гугла обходят условия robots.txt, и все равно индексируют сайт.
Я так понимаю не «индексируют», а «обходят», т. к. robots.txt предназначен для запрета доступа, а не индексации.
И их роботы фиксируются в журналах сервера? И IP соответствующий?
В robots.txt запреты для всех роботов или отдельные для Яндекса и Googl'а? Потому как если для всех, но при этом присутствуют дополнительные правила для отдельного робота, то все запреты для него должны быть явно продублированы.
