@wowwek

Как корректно настроить robots.txt по регулярному выражению?

Что имею: в вебмастере на вкладке «Страницы обхода»:
  • /index/0-31-0-31 200 OK
  • /index/0-33-0-33 200 OK
  • /index/0-34-0-34 200 OK
  • /index/0-69-0-69 200 OK
Как регуляркой можно убрать подобные страницы?
Сайт крутится на юкозе, недавно сильно просели страницы в выдаче, подозреваю, что дело в этом.
Не помогает:
  • Disallow: /*-*-*-*-987$
  • Disallow: /*0-*-0-17$
  • Disallow: /*-0-0-
  • Вопрос задан
  • 76 просмотров
Решения вопроса 1
webinar
@webinar
Учим yii: https://youtu.be/-WRMlGHLgRg
я бы задался вопросом "где яша взял эти ссылки", ведь где-то они есть на сайте и вот это проблема. Если не будет ссылок с публичных страниц - поисковик их и индексировать не будет.
Ответ написан
Комментировать
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы