Calc

tar.gz для хранения
mysql сделайте репликацию, в новой базе сделайте "свои" индексы
По ним и считайте

А вообще ваш лог через unuxовый sort пролезает?
Делайте sort, потом uniq, а работайте уже с выходным файлом.
Обработка через awk

в mysql есть команда explain
Она вам выведет сводную таблицу о том, как используются ваши индексы.

А индексы у базы данных есть?
на id, adddate, target_id, user и target?