unclechu

Как-то писали «обычный сайт», в общем-то если собрать однажды гибкие и расширяемые «рельсы», то вполне можно делать и обычные сайты в том числе. В приведённом примере собрана достаточно гибкая и расширяемая админ-панель, можно юзать на условиях GNU/AGPL. Правда в качестве ORM для БД я бы порекомендовал взять что-нибудь аля монгус, т.к. в данном проекте главная боль в заднице — это были миграции для SQLAlchemy.

Если по хардкору, — то можно на каждый файл пустить по процессу асинхронно, или хотябы по пачке файлов, штук 10 например. Процесс обработал, вернул какой-то результат, завершился. А главный скрипт в это время оперирует этими процессами и собирает с них полученные данные.