Как закрыть от роботов директорию, в которой лежат папки с сайтами?

Question

[Franco Mannino]

Как закрыть от роботов директорию, в которой лежат папки с сайтами?
Например, через .htaccess это возможно - мне говорят, его читает Apache, но директорию выше чем лежат сайты, Апач не видит.
Какие еще способы есть?

Answer 1

[VVB]

robots.txt положить в корне сайта
Дописать после основных параметров, перед sitemap и host (если они у вас есть)
- если хотите индивидуально какието сайты отключить от индексации
Disallow: /projects/site1/
Disallow: /projects/site2/
- если хотите всю папку запретить индексировать
Disallow: /projects/
Обратите внимание на наличие "/" в конце строки.

Если проекты уже проиндексировались их можно удалить в GSC (Google Search Console)
Google Index -> Remove URLs

Comments

[Franco Mannino]

> robots.txt положить в корне сайта

так нет н том уровне сайта. это выше папок с сайтами. будет там роботс работать?

Задача: закрыть от роботов одним действием все сайты.

[VVB]

если они на одном домене то роботс должен находиться в rootовой директории.
Тоесть если site.com тогда robots.txt должен быть доступен по site.com/robots.txt
Внутри папок robots.txt не работает