Как скрыть региональные поддомены от Google?

Question

[Вадим Тимошенко]

Продвигаю сайт на поддоменах в Яндексе. Все успешно.
Добрался до Google, а там в Search Console сообщение:

Агрессивный спам

На этом сайте обнаружены признаки агрессивного спама: публикация автоматически созданного бессмысленного текста или содержания, скопированного с других сайтов, маскировка и/или неоднократное либо грубое нарушение рекомендаций Google для веб-мастеров. Подробнее

Влияет на все страницы

Я так понимаю это все из-за множества дублей страниц на поддоменах (хоть везде и есть названия городов).
Подскажите, как лучше поступить? Правильно я понимаю что один из способов это убрать индексацию сайта Googl'ом на поддоменах, и оставить только на одном домене. Это поможет? Как это сделать? Что писать в robots.txt подскажите.

Comments

[Артем Гвоздев]

а канонические ссылки есть?

[Вадим Тимошенко]

Артем Гвоздев, на всех страницах canonical указан сам на себя. Ну кроме страниц пагинации и может быть где-то еще.
Их можно использовать с субдоменами? Но если я пропишу на региональных субдоменах canonical на главный субдомен то и в яндексе страницы регионов выпадут из индекса?

Answer 1

[Александр Денисов]

robots.txt относится только к одному хосту, т.е. сайту. Поддомены — это разные сайты для поисковиков (хоть и принадлежащие к одному домену). Вам нужно в каждом поддомене в robots.txt прописать следующее:

User-agent: Googlebot
Disallow: /

Таким образом вы дадите понять поисковому краулеру Гугла, что этот сайт не нужно индексировать.

Answer 2

[Felix_vek]

В дополнение комментария Александра, хочу сказать, что Google не всегда следует предписанием robots.txt и может сканировать сайт и страницы не смотря на запреты в нем - см. справку: "Проиндексировано, несмотря на блокировку в файле robots.txt. Страница была проиндексирована, несмотря на блокировку файлом robots.txt (Google всегда следует предписаниям этого файла, однако если на других сайтах есть ссылки на вашу страницу, то robots.txt не поможет). Этот статус установлен, так как мы не уверены, что вы хотите удалить страницу из результатов поиска. Если ваше намерение именно таково, файл robots.txt не является корректным способом избежать индексирования. Чтобы страница не индексировалась, необходимо использовать тег noindex или запретить анонимный доступ к ней. "

Поэтому помимо запрета в robots.txt советую установить на всех страницах поддоменов мета тег для роботов google

<meta name="googlebot" content="noindex, nofollow">