Почему различаются запросы с site:siteurl?

Question

[FeNixQQ]

Почему, если искать site:siteurl, то показывает всего 5590 url страниц, а если искать site:siteurl/, показывает 419000 страниц?

Comments

[Sand]

Вероятно причина в некорректной настройке редиректов и, как следствие, дублирование страниц. Но более точно можно сказать проанализировав данные в SEO инструментах гугла.

Answer 1

[Василий]

С точки зрения дилетанта: Проверил на рандомном сайте - и верно, отличаются.
Глянул что именно отличается - пришёл к выводу, что вместе с / захватываются вообще все объекты, которые попали под взор гугла на этом сайте, а не прикрытый siteurl показывает только то, куда пользователь может попасть с главной страницы без прыжков мимо каталогов не доступных на чтение. То есть, существуют такие технические ссылки вроде: site.org/elements/elem_id_17, ссылка на элемент есть, а каталога elements наружу не открыто, если перейти на site.org/elements/ то будет 404.
Или site.org/img/81231283.jpg - картинка есть, по прямой ссылке попасть можно, но каталог /img/ не доступен на чтение. Таких ссылок по site:siteurl я не увидел, зато их полно если добавить /

Comments

[wisgest]

Если ссылки на элемент есть, то доступность каталогов не должна иметь никакого значения. Если ссылок на сами каталоги нет, то Google и не станет проверять их доступность.

[Константин Цветков]

каталога elements наружу не открыто, если перейти на site.org/elements/ то будет 404

403

[wisgest]

Константин Цветков, можно настроить и 404 и не только для этого случая, а всегда менять 403 на 404.