Откуда в Google search console появились страницы без слеша и как их убрать (как получить 0 не-индексированных страниц)?

Question

[Ярослав]

Играюсь с поисковой оптимизацией и Google search console. Много не проиндексированных страниц, например, в категории Page with redirect есть https://shinhub.ru/ tires/michelin-energy-xm2 (без слеша. Адрес я специально испортил, чтобы не было здесь ссылки на это - уберите пробел чтобы открыть в браузере) если по этой ссылке перейти, то будет в самом деле редирект на канонический адрес со слешом. Но откуда он (безслешевый адрес) взялся? Я прогрепал весь сайт - нет у меня ссылки на эту страницу без слеша (везде со слешом). Если делаю Inspect URL, то:

Sitemaps: No referring sitemaps detected
Referring page: None detected
URL might be known from other sources that are currently not reported

То есть, откуда-то гугл выдумал эту ссылку и теперь меня ею "мучает" в ошибках. (каноническая страничка со слешом в результатах поиска есть, так что реальной проблемы нет, но не нравится, что Search console у меня 255 непроиндексированных страниц по 6 причинам) и сложно разобраться, может там еще какие-то реальные проблемы есть.

Так же в "Duplicate without user-selected canonical" есть другие страницы подобные (без слешей). Есть сам сайт (с www и слешом в конце) - видимо, для гугла страница с www и без - одинаковые, и он на это ругается, но это проще.

Возможно, когда-то раньше или в sitemap или на сайте были ссылки на без-слеша, но сейчас их давно нет. (это единственная причина, которую я могу представить). В общем, вопрос: как избавиться от этих "ложных" ошибок, заставить гугл забыть про ссылки без слеша?

Answer 1

[Dimonchik]

проще всего и опаснее всего - роботс

дольше но надежнее - понять откуда берутся - смотрите логи, обычно так склеивает гугл JavaScript - там чего только не бывает, но может в вашем случае и банальный ререререредирект или кривизна приложения и опять же ререредирект (ререре - это я типа множественный редирект обозначил)

ну и банальный простой редирект по кривизне тоже может быть - смотрите логи за пару часов до - куда бот ходит

Comments

[Ярослав]

А что через robots.txt? Как-то пофиксить через него можно? Запретить ходить без слеша? Я не уверен, что понял первую мысль.

Хостится на cloudflare pages, наверное, там как-то можно логи получить, но куда он может ходить-то, если у меня сайт статический(вот это, наверное, стоило в посте сразу написать), так что все ссылки я просто грепом могу проверить:

mir ~/repo/shinhub $ rgrep michelin-energy-xm2 public/
public/index.xml:      <link>https://shinhub.ru/tires/michelin-energy-xm2/</link>
public/index.xml:      <guid>https://shinhub.ru/tires/michelin-energy-xm2/</guid>
public/index.xml:      <link>https://shinhub.ru/tires/michelin-energy-xm2plus/</link>
public/index.xml:      <guid>https://shinhub.ru/tires/michelin-energy-xm2plus/</guid>
public/tires/index.html:            <li><a href="/tires/michelin-energy-xm2plus/">Michelin Energy XM2&#43;</a> (1)</li>
public/tires/index.xml:      <link>https://shinhub.ru/tires/michelin-energy-xm2/</link>
public/tires/index.xml:      <guid>https://shinhub.ru/tires/michelin-energy-xm2/</guid>
public/tires/index.xml:      <link>https://shinhub.ru/tires/michelin-energy-xm2plus/</link>
public/tires/index.xml:      <guid>https://shinhub.ru/tires/michelin-energy-xm2plus/</guid>
public/sitemap.xml:    <loc>https://shinhub.ru/tires/michelin-energy-xm2/</loc>
public/sitemap.xml:    <loc>https://shinhub.ru/tires/michelin-energy-xm2plus/</loc>

[Dimonchik]

Ярослав, начните с простого - запретите все и разрешите только конкретные ссылки - ну, понятно, их по маске пропишите т.е.
https://shinhub.ru/tires/* ( тут я не выверял - поищите как правильно корректно)
https://shinhub.ru/

я предупреждаю что опасно - бот может вообще перестать ходить на нужные

сложнее - запретить именно с пробелаим оставив нормальные, может даже правил роботса не хватит - вы ж не привели пример

ну а Pages да - там правило на правиле, надо бы поискать где ощибаетесь - нет логов - исследуйте сами браузером, бурпом и т.д. безпробелбьные - хотя бы убедитесь что Cloudalfr нормально их отдает

[Ярослав]

Да, попробую так. Только у меня проблема с "бесслешевыми" страницами шин (кончаются не на слеш), а не с пробельными-беспробельными. Я специально ссылку (без слеша) в примере испортил пробелом, чтобы не получилось, что гугл ее тут проиндексирует и всегда будет знать о ссылке без слеша.

Проект не "настоящий", больше чтобы как раз поиграться, попробовать - так что опасные игры вполне подходят :-)
Спасибо!

[pashjka]

Ярослав, правильно понял, что гугл именно страницы без слеша на конце не хочет индексировать?

[Ярослав]

pashjka, нет, не совсем так (ну или в каком-то смысле). Условно, гугл нашел page/ (правильный адрес) и проиндексировал, а еще нашел и page (без слеша) и ругается, что это не страница, а редирект, и как страницу он ее не проиндексировал.

Реальной проблемы в этом нет, т.к. страница "товара" все равно проиндексирована. Но вот сообщение про редирект числится в ошибках, и это мне не нравится. Во-первых, не нравится по причине "волки! волки!" - если у меня там будет 500 таких ненастоящих ошибок, я не найду среди них сообщение о какой-то реальной проблеме. Во-вторых, я не очень понимаю откуда вообще этот адрес взялся (и он такой не один) и когда гугл его забудет.

Мне кажется, гуглу пофиг, можно и со слешом и без слеша, но страница без слеша у меня редиректная на страницу со слешом.