Как пауки находят сайты?

Question

[microbot]

Интересует технология или скрипт, по которому web-crawler находит сайты? Именно то, от куда он берет адреса сайтов на которые заходит? Или общий вопрос: как узнать названия сайтов, находящиеся на одном ip адресе. Желательно реализация на php, если есть такое.

Answer 1

[Dimonchik]

spyonweb.com тут есть API

Comments

[microbot]

Дело в том, что, опыта ради, хотел сам написать нечто подобное, чтобы разобраться в подобных технологиях

[Dimonchik]

ICAAN