@jazzman7

Как остановить индексацию не правильных адресов в Битриксе?

Здравствуйте!
Гугл начал активно индексировать несуществующие страницы.
Имеют адрес домен.ру/статья/что-то на подобии/migrations/helpers/data/null/params/init/init
672359b0ceb0b143018028.jpeg

В роботс это все закрыто, но гугл их принудительно продолжает индексировать. Выдают код 500.
Сайт просел в поиске, возможности из-за этого.
Не могу понять причину. Есть какие-нибудь мысли как избавиться от такого?
  • Вопрос задан
  • 61 просмотр
Решения вопроса 1
@scooby_doe
Скорее всего правило Disallow банит не то и его нужно переделать, если уже был рецидив.

Эти урлы способом своей генерации (если таких страниц конечно нет на сайте) похожи на проделки js либы sourcebuster.js или на какой-то её аналог.
По этой либе, кажется, есть гайд тут, можно попробовать понять каким образом она билдит такие урлы.

Банить нужно не по null, а по фрагментам в духе:

/data/
/params/
/utils/
/helpers/
/migrations/
(но это устранение следствия, а не причины и конечно делать это нужно, если таких легальных урлов на сайте нет)

Из глупого, что пришло в голову, можно на самом сайте создать страницу, которая будет ловить эти "неправильные" урлы, где в head у тебя будет:
<meta name="robots" content="noindex">
(но это может быть опасно, если в обработку этого php скрипта попадёт легальная страница)

Из опыта: поисковые системы находят страницы сайта не только по ссылкам на страницах (a href="url"), но и смотрят куда юзеры заходят и какой урл у них был на сайте - в этом им помогают сервисы аналитики (для Яндекса это метрика, для Гугла это аналитика - после нахождения страницы оно скармливается поисковой системе).
Ответ написан
Комментировать
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы