www.datacenterknowledge.com/archives/2012/03/08/th...
пока у тебя нет потока таких логов, не надо хранить и обрабатывать историю за 10+ лет - у тебя нифига не бигдата
не знаю что лучше использовать для этого
не знаешь что использовать под бд - используй postgres
Читай построчно и запихивай в БД в нормализированном состоянии
Изучи хаки для буста производительности БД - temp table, disable indexes, etc
Hadoop нужен если им будут пользоваться те кто в нем шарит. Твои пользователи будут переподнимать кластер после того как он навернется из-за того что софт сырой поставили?