Ответы пользователя по тегу 1С-Битрикс
  • Как остановить индексацию не правильных адресов в Битриксе?

    @scooby_doe
    Скорее всего правило Disallow банит не то и его нужно переделать, если уже был рецидив.

    Эти урлы способом своей генерации (если таких страниц конечно нет на сайте) похожи на проделки js либы sourcebuster.js или на какой-то её аналог.
    По этой либе, кажется, есть гайд тут, можно попробовать понять каким образом она билдит такие урлы.

    Банить нужно не по null, а по фрагментам в духе:

    /data/
    /params/
    /utils/
    /helpers/
    /migrations/
    (но это устранение следствия, а не причины и конечно делать это нужно, если таких легальных урлов на сайте нет)

    Из глупого, что пришло в голову, можно на самом сайте создать страницу, которая будет ловить эти "неправильные" урлы, где в head у тебя будет:
    <meta name="robots" content="noindex">
    (но это может быть опасно, если в обработку этого php скрипта попадёт легальная страница)

    Из опыта: поисковые системы находят страницы сайта не только по ссылкам на страницах (a href="url"), но и смотрят куда юзеры заходят и какой урл у них был на сайте - в этом им помогают сервисы аналитики (для Яндекса это метрика, для Гугла это аналитика - после нахождения страницы оно скармливается поисковой системе).
    Ответ написан
    Комментировать