@strikezone

Как сделать софт для поиска сайтов?

Как сделать программу, чтобы она искала только все ИИ сайты и сохраняла их в список, а также автоматически обнаруживала и добавляла новые сайты? И что для этого нужно?
  • Вопрос задан
  • 357 просмотров
Пригласить эксперта
Ответы на вопрос 2
sergey-gornostaev
@sergey-gornostaev
Седой и строгий
Вам стоит почитать историю создания поисковых систем и о том, как они устроены. В общих чертах, вам нужен обычный такой парсер, способный вытаскивать из html-страниц ссылки, делать по ним запросы, чтобы получить новые html-страницы, вытащить из них ссылки и т.д. Беды начинаются в нюансах. Во-первых, размер интернета сейчас таков, что для построения хоть сколько-нибудь эффективного поискового индекса, вам нужно построить центры обработки данных, закупить и настроить тысяч серверов, арендовать магистральные каналы и т.п. Во-вторых, сайты не любят когда их парсит кто попало и защищаются от этого, поэтому вам придётся каким-то образом доверие заслужить. В-третьих, вам нужно будет заключить какие-то соглашение с организациями, контролирующими систему доменных имён, что тоже нонеймам недоступно. Наконец, на всё это нужны по самым скромным оценкам миллионы долларов и годы работы.
Ответ написан
@Everything_is_bad
С такими проблемами - никак, начни для начала решать более простые задачи.
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы