@Iskatel_S

Как спрятать для поисковых систем некоторые служебные страницы?

Хочу сделать так, чтобы поисковые системы не индексировали служебные страницы сайта. Добавляю директивы Disallow в robots.txt, только вот имею сомнение в синтаксисе этой директивы. Нужно, чтобы в индекс не попадали страницы с параметрами, такие:
https://domain.ltd/videos/fav?o=tf&t=m
и такие:
https://domain.ltd/videos?o=tf&t=m
Добавлена строка:
Disallow: /videos/*?
А вот URL второго типа не пойму какой директивой убрать. Подскажите плиз.
И ещё, я тут в одном месте прочитал, что выражение со звёздочкой и вопросительным знаком работает только для Googlebot, это правда? Хотелось бы ещё для YandexBot и bingbot убрать.
  • Вопрос задан
  • 101 просмотр
Пригласить эксперта
Ответы на вопрос 2
@good-villain
Упорот, но в меру
Noindex, nofollow в параметры ссылки пробовали?
Ответ написан
ReactorHeart
@ReactorHeart
SEO аналитик
И ещё, я тут в одном месте прочитал, что выражение со звёздочкой и вопросительным знаком работает только для Googlebot, это правда? Хотелось бы ещё для YandexBot и bingbot убрать.


Каждая поисковая система обрабатывает директивы из robots.txt по-своему.
Чтобы не гадать и надежно закрыть от индекса служебные страницы, необходимо задать до закрывающего /head на всех страницах сайта , которые решили закрыть, в мета-теге robots:

При этом, если ранее эти страницы были закрыты в robots.txt запрещающими директивами, то директивы необходимо удалить (для тех страниц, где прописали в коде страниц в мета-теге robots: )
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы