Хм, т.е. на все это должны быть некие указатели? Т.е. если на серв положить некий файл, никак и ничем не связанный с остальным контентом, он не будет проиндексирован?
Я почему спросил, намедни смотрел через поисковик на наличие файла passwd.dat, содержащий связку логин/пароль для форм авторизации, многие поисковики выдавали приличные результаты с кучей сайтов, где был найден этот файл. Поэтому и появился вопрос, как он был найден? Не думаю что на него ведет некая ссылка с сайта. В голову приходит только мысль, что сам путь до него может содержать в каком-нибудь другом скрипте, который лежит на сайте. Но это мне представляется как-то маловероятным.
