Как правильно написать robots.txt?

Question

[Андрей Кварцов]

Доброе утро!

На хостинге имеется директория demo
В ней хранится больше 60 папок с демонстрационными версиями сайтов, нужно запретить поисковым системам индексировать всё что находится в этой папке, при том, что каждая папка имеет свой поддомен соответствующий названию папки.

Как правильно решить поставленную задачу?

Answer 1

[Алиса Данилова]

robots.txt c содержанием:

User-agent: *
Disallow: /*demo

Поместить в папку demo

Answer 2

[Владимир Муковоз]

В корень каждой папки бросить robots.txt запрещающий индексацию. Вы ведь это спрашивали? Просто мне кажется это очевидно.

Answer 3

[Сергей]

\||||/

Disallow: /*demo