Где поисковые роботы берут адреса для сканирования?

Question

[Matthew777]

У меня нет понимания, откуда поисковые системы берут адреса страниц для парсинга и индексации? Они брутфорсят, или есть определенное место, где лежат все адреса опубликованных в сети страниц? Могу ли я узнать все доступные страницы определенного домена?

Answer 1

[DevMan]

пользователи сами загружают список страниц своего сайта для начальной индексации.
плюс робот периодически парсит линки со страниц, которые у него уже в индексе, и дальше бегает по ним и т.д.

Comments

[Василий Банников]

+ ещё индексация идёт по сайтам, которые посещают пользователи Edge / Yandex / Chrome в соответствующие поисковые системы.
С этим даже был 1 прикол, когда в яндекс утекли все закрытые, но открытые по ссылке документы в гугл-документах.

Answer 2

[Дмитрий]

Добавлю, что в некоторых cms (Wordpress) есть встроенный пинг, который сообщает в службы обновления при создании и обновлении страниц. Ссылка.

Answer 3

[Whois]

Могу ли я узнать все доступные страницы определенного домена?

Это называется карта сайта, например:
https://qna.habr.com/sm-questions.xml