Если так критична производительность то С++ и специальные алгоритмы и движки которые оптимизируют. Задачу точно не описали , но исходя из текста порекомендовал бы SQL, он миллион записей в доли секунды обрабатывает.
Спасибо, значит стану изучать с++.
К сожалению многие операции не получится выполнить в sql. Задачки банальные: поделить на куски, найти некий кусок и т д. Если только записывать все это дело по небольшим элементам, то в этом есть смысл.
Как раз таки можно. В студенчестве мы с другом делали генератор рефератов, кучу текста и реферата загнали в бд. Там же ее разбили на абзацы. В другой таблице словарь с привязкой к теме. И перебор всех возможных комбинаций. SQL потому как появилась проблема хранить кучу данных с некоторыми полями и связывать их с другими.
Там даже большая таблица была со словами без окончаний и приставок. И по рейтингу собрать из всех абзацев текст(там перебор слов со сравнением и это слово с перечислением тематик) . Давно было, не помню зачем так сделали, но работало. Правда вменяемый текст не получался, но цель была достигнута.
Сейчас думаю можно попроще, уже кучу словарей и классификаторов есть. Сорри за оффтоп.