В процессе обработки файлов заводишь в редисе необходимые счетчики. Задача, как мне кажется, не в использовании редис, а в параллельной обработке большего кол-ва файлов.
Актуально, но в совокупности с умением автоматизировать процесс администирования. Ключеввые слова: облака, контейнеры (docker в первую очередь), ansible, chef, pupet.