В python3 в стандартную библиотеку входит asyncio, библиотека к-я повзволяет писать асинхронные приложения, кроме того в python3.5 добавили ключевые слова async и await.
Для python2.7 есть Twisted, Tornado, gevent.
В процессе обработки файлов заводишь в редисе необходимые счетчики. Задача, как мне кажется, не в использовании редис, а в параллельной обработке большего кол-ва файлов.