Как проще хранить информацию?

Денис Букреев: у них нереляционная самописная БД. Об этом говорили на выступлении в 2010 - profyclub.ru/docs/103

Как сделать анализатор и поиск по прямому тексту?

Думаю, вам стоит посмотреть в сторону нейронных сетей.