Не видят. Ваш вопрос говорит о непонимании структуры клиент-серверных приложений (это не камень в ваш огород, а просто совет куда копать).
Поисковик, по сути, делает то же самое, что и любой пользователь, который посещает ваш сайт - поисковик запрашивает URL страницы, сервер обрабатывает запрос (как если бы этот же URL запросил через браузер обычный пользователь) и отдает содержимое в ответ. У обычного пользователя ответ обрабатывается браузером, в результате чего компонуется страница, а у поисковика этот ответ обрабатывается своим приложением, которое представляет собой сложнейшую аналитическую программу (если так можно назвать).
Как правило, поисковики (для самоидентификации) при посещении страницы используют свой собственный
User Agent в заголовке, когда обращаются на URL - это, во-первых, этично, во-вторых - чтобы статистику не накручивать, в третьих (самое главное) - дать возможность автору сайта скрыть страницы или каталоги от индексации их поисковиков (директива прописывается в
robots.txt).
Ну и, если интересно, то поисковики также (для "облегчения" слепого поиска по ссылкам) могут читать файлы карт сайта (так называемый sitemap). За создание таких файлов ответственен сам автор сайта - либо создается вручную (ручками или своим скриптом), либо их генерирует какой-нибудь плагин. Файл представляет собой
XML-структуру, в которой перечислены адреса (URL) страниц сайта. Как правило, такой файл называется sitemap.xml (с таким названием поисковик ищет в корне сайта по умолчанию), но можно задавать любое другое имя (об этом необходимо извещать поисковик, регистрируя свой сайт в соответствующем приложении типа webmaster каждого поисковика) и указывая имя такого файла-карты в профиле сайта.
Простой
Простой
Простой
