пользователи сами загружают список страниц своего сайта для начальной индексации.
плюс робот периодически парсит линки со страниц, которые у него уже в индексе, и дальше бегает по ним и т.д.
поисковым ботам совершенно безразличны файлы и директории на сервере.
им нужно, чтоб по запрошенному адресу отдавался контент, остальное их не волнует.
