Calc

tar.gz для хранения
mysql сделайте репликацию, в новой базе сделайте "свои" индексы
По ним и считайте

А вообще ваш лог через unuxовый sort пролезает?
Делайте sort, потом uniq, а работайте уже с выходным файлом.
Обработка через awk

Посмотрите в сторону WebSockets

1) АЛГОРИТМЫ
ПОСТРОЕНИЕ И АНАЛИЗ
Thomas H. Cormen
Charles E. Leiserson
Ronald L. Rivest
Clifford Stein
2) чем меньше итераций цикла (циклов) в задаче, тем меньше времени уходит на ее выполнение.
Пример
имеем отсортированный массив
в нем нужно найти 17
Есть выбор: Прямой перебор или двоичный поиск

Может тут найдется решение?
php.net/manual/en/class.thread.php

Прочтите еще вот это и не используйте preg-match для таких задач
stackoverflow.com/questions/6433492/preg-match-vs-...
да и substr($string, -1) подойдет лучше

Nginx, обычно используется как frontend, а apache как backend

Nginx создает пул потоков, которые обрабатывают входящие запросы (фиксированное число)
apache создает на каждый запрос по потоку. Так что тут php-fpm как то смысла не имеет.

Nginx хорошо отдает статику, может кешировать и т.д.
Можно поставить nginx и проксировать запросы к apache и кешировать результаты.

Классы не инклудте.
а с функциями что не так?

что то вроде
www.php.net/manual/ru/class.domdocument.php?