Почему попадают в индекс гугла страницы которых нет (/mobile/,/m/, с www и без www)?

Question

[Legioner911]

Здравствуйте всем.

Собственно сабж.
Может кто сталкивался с подобной проблемой, и почему она могла появиться ?
Неужели при создании сайта нужно в robots всегда добавлять эти ссылки в исключение?

Заранее спасибо за ответ.

Answer 1

[Марк]

Вероятно, на них есть (были) ссылки, внутренние или внешние.

Answer 2

[Агнислав]

Я предположу, что гугл при индексации запрашивает наиболее распространённые поддомены и пути, даже если на них нет ссылок. И в случае, если веб-сервер отдаёт что-то осмысленное-контентное ( к примеру, "страница не найдена", но с кодом 200), помещает ответ в индекс.