Гугл проиндексировал то, что скрыто в роботс.тхт?

Question

[yurakresan]

Всем привет запустили сайт, но гугл проиндексировал то, что скрыто в роботс.тхт. Может быть это из-за того, что в карте сайта есть данные страницы? Что в таком случае делать?

Answer 1

[Злой Снеговик]

На страничке, которую хотите скрыть, поставьте просто тег noindex. Правила robots почему-то не у всех срабатывает.

Answer 2

[rPman]

Не выкладывать страницы, которые не хотите чтобы были доступны поисковикам доступными HTTP GET запросами, кстати и даже это может не быть гарантией, были же скандальчики что расширения-панельки-бары к браузеру, которыми одно время все кому не лень пичкали браузеры пользователей, так вот они ради аналитики собирали все странички, в т.ч. POST запросы

Comments

[Злой Снеговик]

Не стоит рубить с плеча.
бывает так что страница с информацией периодически теряет актуальность. Оказывала компания услугу, но раз в сто лет она нахрен не сдалась компании и не хочет чтобы клиент терроризировал по поводу этой услуги.

Answer 3

[Пума Тайланд]

посмотрите в вебмастере закрыты ли страницы от индексации

Answer 4

[Антон Величко]

гугл проиндексировал то, что скрыто в роботс.тхт. Может быть это из-за того, что в карте сайта есть данные страницы? Что в таком случае делать?

Это нормальная ситуация для ПС Google.
Поэтому, если страницы уже проиндексировались и показываются в выдаче Google размещение мета-тега robots ( с параметрами: <meta name=“robots” content=“noindex,follow”>) до закрывающего /head на странице ничего не даст. Страницы по-прежнему будут находится в индексе поисковой системы.

Чтобы исправить ситуацию, необходимо:

1. удалить запрещающие директивы в robots.txt для страниц, которые хотите закрыть от индексации поисковых систем;
   
2. задать до закрывающего /head на всех страницах сайта , которые решили закрыть, в мета-теге robots: <meta name=“robots” content=“noindex,follow”>.