Как проще всего реализовать свой поисковый движок?

Question

[Andrey_Epifantsev]

Есть человек изучающий иностранный язык. Пока он находится на начальном этапе обучения и словарный запас невелик. Весь словарный запас известен и записан в виде списка слов (включая все формы слов: разное число, разное лицо, склонения, спряжения прочее).
Хочется для этого человека находить в интернете тексты, такие, чтобы он мог читать эти тексты не обращаясь на каждом предложении к словарю. То есть подавляющее большинство слов в тексте должно либо входить в список известных слов, либо быть именем. Неизвестных слов допускается лишь несколько на весь текст.
Насколько реально создать такой поисковый движок? Можно ли задействовать существующие поисковые движки? Вроде как есть Google Custom Search, но его кастомизация вроде как не заходит настолько далеко.

Answer 1

[Dimonchik]

проще всего взять дамп википедии и сравнить корпусы

все остальное упрется в наличие проиндексированного контента, а это куда дольше / сложнее просто сранивалки

помимо Вики есть дампы как литерутурных текстов, так и какой-нибудь NY Times, т.е. ближе к IRL языку