Ситуация такая же была, использовал для хранения MySQL. Работало (в плане записи все шустро). Но был один критичный момент. Т.к. вариантов сообщений было много, и под каждый написать таблицу было не самое лучшее решение + поля переменные. Одним словом структура описана только на верхнем уровне. Укладывать приходилось что-то в поля, что-то в BLOB. Как результат поиск толком не работал. Обработка была тяжелой. Иногда выпадало по таймауту.
После было решено отказаться в пользу MongoDB. С момента перехода скопилось уже несколько миллионов записей. При этом занимает лишь 3.4Гб оперативы, на диске гиг (половина это индексы). Для анализа настроен инкрементальный MapReduce по расписанию. Поиск укладывается в секунду и меньше. MapReduce (5агрегаций) в среднем выполняется за пару секунд.
За время эксплуатации никаких нареканий, одно удовольствие. В дальнейшем можно будет поднять кластер и настроить шардинг.
Так что если структура не фиксированная, либо достаточно сложная + необходимо делать различные агрегации и обработки данных, то рекомендую посмотреть на MongoDB. Как вариант добавить на время (неделю две) параллельную запись и туда и туда для анализа.
Берем первый, открываем Gemfile https://github.com/rapid7/metasploit-framework/raw/master/Gemfile и все что они использовали перечислено тут. Все остальное самописное. Причем тут вообще framework-и? Если у вас есть конкретная задача, которую хотите решить, может имеет смысл озвучить ее.