Помогите с созданием специализированного поискового движка

Question

[Юрий Сыровецкий]

Собираюсь написать нечто вроде специализированного поисковика. Он будет бродить по большому количество ресурсов (не только по вебу, и не только по [гипер]текстовым ресурсам) открытого Интернета, извлекать нужную мне информацию и складывать в базу данных (с чёткой структурой, искать надо по одним полям чётко, по другим полнотекстово).

Требования:
— минимизировать задержку между изменением ресурса и его переиндексацией;
— максимизировать скорость извлечения полезных данных из базы по разным запросам (причём одни запросы будут задаваться чаще других, это может помочь).

Начать хочу с proof of concept — программного решения, которое, будучи запущенным на одном сервере (физическом или в облаке), доказало бы состоятельность самой идеи извлечения данного рода сведений. Потом, если всё получится, расширять и углублять сервис.

Дайте ссылок на материалы по теме, готовые решения, билиотеки, фрэймворки, языки, хотя бы годные ключевые слова для поиска.

Answer 1

[b0n3Z]

Готовое решение с открытыми исходниками: Nutch. Все нужное для поиска там есть, в том числе масштабируемость, если вы подрубите к нему Hadoop.

Comments

[Юрий Сыровецкий]

Да, очень похоже на то, что я хочу. Спасибо, буду пробовать.

Answer 2

[Пума Тайланд]

Скопируйте архитектуру того же гугла, а то требования у вас размыты.

Comments

[Юрий Сыровецкий]

Вот эту?

Монструозненько выглядит. Не думаю, что мне с самого начала нужно именно это.

[Пума Тайланд]

Уберите то что вам не нужно просто и будет самое то.

[Юрий Сыровецкий]

Не понял, насколько точных требований вы ожидаете, на всякий случай добавил ещё абзац в текст вопроса.

[Пума Тайланд]

Чем вас архитектура гугла не устроила?
Если вы хотите все просто, то в руки вам, nginx, пхп, мускул, сфинкс, мемкеш, еакселератор.