Вам стоит почитать историю создания поисковых систем и о том, как они устроены. В общих чертах, вам нужен обычный такой парсер, способный вытаскивать из html-страниц ссылки, делать по ним запросы, чтобы получить новые html-страницы, вытащить из них ссылки и т.д. Беды начинаются в нюансах. Во-первых, размер интернета сейчас таков, что для построения хоть сколько-нибудь эффективного поискового индекса, вам нужно построить центры обработки данных, закупить и настроить тысяч серверов, арендовать магистральные каналы и т.п. Во-вторых, сайты не любят когда их парсит кто попало и защищаются от этого, поэтому вам придётся каким-то образом доверие заслужить. В-третьих, вам нужно будет заключить какие-то соглашение с организациями, контролирующими систему доменных имён, что тоже нонеймам недоступно. Наконец, на всё это нужны по самым скромным оценкам миллионы долларов и годы работы.
Сложный
