Как правильно написать robots.txt?

Доброе утро!

На хостинге имеется директория demo
В ней хранится больше 60 папок с демонстрационными версиями сайтов, нужно запретить поисковым системам индексировать всё что находится в этой папке, при том, что каждая папка имеет свой поддомен соответствующий названию папки.

Как правильно решить поставленную задачу?
  • Вопрос задан
  • 208 просмотров
Решения вопроса 1
robots.txt c содержанием:
User-agent: *
Disallow: /*demo


Поместить в папку demo
Ответ написан
Комментировать
Пригласить эксперта
Ответы на вопрос 2
castomi
@castomi
Серверный администратор - tickets.settin.ru
В корень каждой папки бросить robots.txt запрещающий индексацию. Вы ведь это спрашивали? Просто мне кажется это очевидно.
Ответ написан
Комментировать
\||||/
Disallow: /*demo
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы