Как считать внешний трафик в CDN / ферме?

Question

[Hocok_B_KapMaHe]

Доброго дня,
Итак, то что будет скорей не CDN а просто ферма серверов типа файлообменника (без локальной сети).

Каждый большой файл режется на кучу маленьких от 2мб до 12мб и имеет id не привязанный к пользователю, но принадлежащий ему.
Нужно посчитать исходящий трафик всех файлов принадлежащих конкретному пользователю.

Могу написать все сам (есть возможность писать скрипты для веб-сервера).
Нужна идея как сделать так, чтобы это не сказывалось на производительности (отдачи файлов) + статистика была доступна пользователю чуть ли не онлайн по клику.

P.S. Дополнительные серверные модули и ПО ставить не хочется. Имеется возможность написать серверную часть. Поэтому нужна идея.

Comments

[Степан]

id не привязанный к пользователю, но принадлежащий ему.

Уточните пожалуйста на примере.

[Hocok_B_KapMaHe]

@L3n1n Ну вот пользователь Петя загрузил файл. Для файла сгенерировался уникальный id (это хеш времени). Он его шарит, пользователи его активно скачивают. Определить по id чей конкретно этот файл невозможно. Зато в базе есть таблица пользователей со ссылками на эти id. И только сделав SELECT "USER" from files WHERE "ID" = $someid можно сказать что файл принадлежит Пете.

В этом и трудность.
В лог можно писать id и размер самого файла.
Итого один файл на каждом сервере.
Предположим таких серверов у нас 10. Нужно с каждого сервера скачивать этот лог, парсить его (а он может быть и большим) а потом составлять таблицу соответствий id => user, суммировать все и только потом говорить что у Пети трафик составил 10 Гб, у Васи -8 и т.д.

Есть ли способ упростить ?