Откуда поисковая система знает все веб страницы?

Question

[beesent]

Я знаю как поисковая система определяет какие пользователю нужны веб страницы. Возможно вопрос банальный, но откуда поисковая система знает все веб страницы в интернете? Я не могу найти ответа на этот вопрос.

Answer 1

[Alexander]

Благодаря "паукам", которые постоянно сканируют интернет и переходят по ссылкам на сайте. Для оптимизаторов (seo-специалистов) очень важно, чтобы пауки как можно чаще сидели на его сайте, чтобы новые страницы максимально быстро индексились, дабы быстрее попасть в выдачу! То есть пауки сканируют не равномерно интернет, а в первую очередь отдают предпочтение сайтам, где часто происходят обновления контента, например форумы или соцсети.

Comments

[beesent]

То есть изначально люди дают паукам на поедание определенные сайты, чтобы пауки через них находили другие сайты?

[Alexander]

beesent, если пауки это не сделают раньше, то да!

[beesent]

Alex Alexov, получается что тот же google изначально знал несколько сайтов, находил через них ссылки на другие и сейчас он знает всё?

[Alexander]

beesent, если вам интересно углубиться в технологический вопрос, то погуглите поисковые пауки или краулеры.