Поисковые алгоритмы это слишком широкая и обширная тема для одного поста. Вам необходимо обратится на фрилансим и заказать там консультацию специалиста, который бы провел вам лекцию по основам. Потому что при большом объеме данных - метод взять и просканировать все страницы на совпадения, не подходит, так вы добьетесь только краха своего сервера.
