В Вебмастере в разделе «Исключенные страницы» появляются ссылки с URL вида gtm_debug и ym_debug, как найти причину?

Question

[Анна]

Здравствуйте!
С некоторого времени в Вебмастере стали появляться ссылки, например /?_ym_debug=2 или /?gtm_debug=1729657003761.
Сайт упал в выдаче, без видимых на то причин.
Подскажите, пожалуйста, где мне найти источник проблемы?
Скриншот прилагаю.
Благодарю заранее за идеи поиска данной проблемы!

Answer 1

[Михаил Р.]

С некоторого времени в Вебмастере стали появляться ссылки, например /?_ym_debug=2 или /?gtm_debug=1729657003761.

Подскажите, пожалуйста, где мне найти источник проблемы?

Проверка цели. У Вас не запрещена индексация страниц с не нужными url параметрами. По идее, поисковик воспринимает такие страницы, как дубли.

Пример запрета индексации любых url с url параметрами без слэша на конце (robots.txt):

User-agent: *
Disallow: *?

Со слэшем:

User-agent: *
Disallow: */?

Правило размещать в начале файла, затем, его ниже можно перекрыть, написав новое Allow правило, это необходимо для разрешения индексации страниц с определенными url параметрами.

Comments

[Анна]

Спасибо большое!
То есть, я правильно понимаю, что эту проблему решит вот такая запись в robots.txt?

User-agent: Yandex
Clean-param: gtm_debug
Clean-param: ym_debug

[Михаил Р.]

Анна, не совсем, обновил ответ

[Анна]

Михаил Р., Благодарю Вас за совет.
А можно задам вопрос, просто интересно)
Почему лучше в .htaccess? И как это правильно сделать именно в .htaccess?
Просто везде указан способ именно про robots.txt,
но я не знаю, подойдет ли его синтаксис для .htaccess?
Извините, если спросила какою-то глупость)

[Михаил Р.]

Анна, Вы меня извините, я смотрел один вопрос, а отвечал на другой. Рекомендации к индексации определяются в robots.txt.

[Анна]

Спасибо огромное!
То есть, вот так будет правильно?
Я проверила валидаторе вебмастера, он не показал ошибку.

User-agent: *
Disallow: */?gtm_debug
Disallow: */?_ym_debug

Allow:
Sitemap: https:/мой-сайт.ru/sitemap.xml

[Михаил Р.]

Анна, как выглядит типичная ссылка Вашего сайта, например на страницу контактов? И сайт не на wp случаем?

[Анна]

Михаил Р.,

https://мой-сайт.ru/map.html

Установлен WP, но верстка не натянута, сайт самописный.
Я хотела это сделать, но потом нашла информацию, уже нужно было изначально брать тему и уже ее переделывать, а не свой код пытаться натянуть.
Есть вероятность, что это WP их генерирует?

Если я таким образом напишу, с указанием запрета индексации этих gtm_debug и ym_debug, то проблема исчезнет? или нужно полностью прописывать ссылку, например /?gtm_debug=1729657537260

Благодарю Вас за терпение))

[Михаил Р.]

Анна,

Установлен WP, но верстка не натянута, сайт самописный.
Я хотела это сделать, но потом нашла информацию, уже нужно было изначально брать тему и уже ее переделывать, а не свой код пытаться натянуть.

Если опыта в натяжке тем с нуля нет, то да, проще изменить уже существующую тему.

Есть вероятность, что это WP их генерирует?

Нет.

Если я таким образом напишу, с указанием запрета индексации этих gtm_debug и ym_debug, то проблема исчезнет? или нужно полностью прописывать ссылку, например /?gtm_debug=1729657537260

Вы так ссылку и не скинули, а https://мой-сайт.ru/map.html ожидаемо не открывается.

User-agent: *
Disallow: */?gtm_debug
Disallow: */?_ym_debug

Allow:
Sitemap: https:/мой-сайт.ru/sitemap.xml

Если это полный Ваш robots, то достаточно так:

User-agent: *
Disallow: *?
Disallow: */?

Это будет работать со слэшем и без, для всех url с url параметрами.

[Анна]

https://antik88.ru/map.html
Боюсь, модератор подумает, что я рекламирую сайт)

В роботсе еще есть карта сайта, которую Яндекс почему-то не видит, но ссылка открывается.
Sitemap лучше разместить в начале файла или в конце?

Сердечно благодарю Вас за подробные ответы и помощь)

[Михаил Р.]

Анна,

https://antik88.ru/map.html
Боюсь, модератор подумает, что я рекламирую сайт)

Ссылка относится к текущему следствию, без нее не понять смысл "самописный сайт", так что все законно )

В роботсе еще есть карта сайта, которую Яндекс почему-то не видит, но ссылка открывается.
Sitemap лучше разместить в начале файла или в конце?

Должен видеть, значит есть ошибки. 404 ошибку отрабатывает корректно (спасибо wp), слэш не обрабатывается, тогда с картой сайта + wp robots будет выглядеть так:

User-agent: *

Disallow: /cgi-bin
Disallow: /wp-
Disallow: /wp/
Disallow: /search
Disallow: /author/
Disallow: */embed$
Disallow: */xmlrpc.php
Disallow: *?
Disallow: */?

Allow: */wp-*/*ajax*.php
Allow: */sitemap
Allow: */uploads
Allow: */wp-*/*.js
Allow: */wp-*/*.css
Allow: */wp-*/*.png
Allow: */wp-*/*.jpg
Allow: */wp-*/*.jpeg
Allow: */wp-*/*.gif
Allow: */wp-*/*.svg
Allow: */wp-*/*.webp
Allow: */wp-*/*.swf
Allow: */wp-*/*.pdf

Sitemap: https://antik88.ru/sitemap.xml

[Анна]

Михаил Р., Спасибо Вам большое, я даже не знаю, как Вас благодарить!
То есть, нужно подбирать правила для роботса с учетом того, что на сайте установлен WP...
Вот это открытие у меня случилось))
Огромная Вам благодарность!

[Михаил Р.]

Анна,

То есть, нужно подбирать правила для роботса с учетом того, что на сайте установлен WP...
Вот это открытие у меня случилось))

У Вас же 404 ошибку обрабатывает wp, значит wp может что то ещё "сливать" поисковикам, а это не улучшает seo.

[Анна]

Михаил Р.,
Да, 404 ошибка все равно вылезает с вордпресовской страницей, хотя я загружала свою...

Можно тогда спрошу у Вас совет...
Может быть, удалить вообще файлы WP из корневой папки сайта? Или это может навредить?

[Михаил Р.]

Анна,

Может быть, удалить вообще файлы WP из корневой папки сайта?

Если wp выполняет роль лишь обработчика 404, то это странное решение и сильно избыточное.

Или это может навредить?

Не навредит, т.к. 404 ошибка итак должна появляться, если нет такой страницы, другой вопрос, сможете ли Вы ее оформить должным образом.

[Анна]

Михаил Р., Спасибо большое!
wp в моем случае - это след неосуществившегося плана)
поэтому, если на seo это не повлияет негативно, я бы файлы wp убрала совсем...

Answer 2

[Виктор Петров]

Нынешняя работа с индексированием – это сплошная борьба с техническими дублями, которые плодят сами ПС.
В данном случае рекомендую для Яндекс использовать Clean-param, чтобы подклеить эти дубли к целевой странице. Закрывать в robots.txt не стоит, поскольку потеряете все полезные сигналы, в том числе и с выдачи. если они там есть. А это может быть весомо.
Для Google можно не морочиться, он справляется с параметрами лучше, чем Яндекс, и в принципе в индекс что-то берет крайне неохотно.

Comments

[Анна]

Спасибо большое!
То есть, нужно постоянно смотреть, какие там новые дубли наплодил Яндекс, и идти добавлять их в Clean-param, получается.
Пока что попробовала сделать вот так:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-
Disallow: /wp/
Disallow: /search
Disallow: /author/
Disallow: */embed$
Disallow: */xmlrpc.php

Allow: */wp-*/*ajax*.php
Allow: */sitemap
Allow: */uploads
Allow: */wp-*/*.js
Allow: */wp-*/*.css
Allow: */wp-*/*.png
Allow: */wp-*/*.jpg
Allow: */wp-*/*.jpeg
Allow: */wp-*/*.gif
Allow: */wp-*/*.svg
Allow: */wp-*/*.webp
Allow: */wp-*/*.swf
Allow: */wp-*/*.pdf
Allow: /
Sitemap: https://antik88.ru/sitemap.xml
Host: antik88.ru

User-agent: Yandex
Clean-param: gtm_debug
Clean-param: ym_debug

Надеюсь, ситуация лучшится.
Спасибо большое Вам за помощь, Вы так много раз давали реально ценные советы, что по Вашим ответам можно учебник писать))

[Виктор Петров]

Анна, я бы пустую строку между директивами убрал, это не соответствует RFC и теоретически может быть считано как начало нового блока. Сайтмап - в общие для всех.
А вообще отметил бы, что Яндекс со своими собственными UTM с выдачи как с цепи сорвался, и если вовремя не добавлять директивы - начинает ранжировать их. Список постоянно пополняется, уж не знаю, что они пытаются таким способом решить. Пользователю-то это точно не нужно.

[Анна]

Виктор Петров, Поняла, спасибо большое!
С наступающими Вас праздниками! :)