Почему яндекс видит сайт который не должен индексироваться?
есть 2 домена, 1 для работы с версткой, второй для работы с CMS -обычно вордпресс.
Так вот, эти поддомены никогда для поиска не настраивались и гугл их не видит, а яндекс почемуто индексирует их. что делать, как убрать индексацию помимо добавления robot.txt
Не должен индексироваться тот сайт на котором robot.txt явно запрещает это делать.
Все остальные должны индексироваться.
Настраивается все это лишь для ускорения индексирования.
Простой
