Имеется скрипт, работающий в продакшн, написанный на питон, который занимается обработкой файлов. Принцип работы: в хот-фолдер падает файл, incron вызывает событие и запускает скрипт. Файл обрабатывается, и результаты пишутся напрямую в html-файл. Файлы могут быть большие (пол-гектара и более) и падать по нескольку штук одновременно, но в течении дня нагрузка не высокая, 1-2 десятка файлов.
Хочу перевести это дело на Django.
Пока мысль такая - есть библиотека PyNotify (
https://github.com/seb-m/pyinotify), она может создавать событие и ставить файл в очередь. Очередь обрабатывается в Celery, очевидно удобство параллельной обработки, если упало сразу несколько файлов.
Или можно обойтись без PyNotify, используя, как и раньше, incron для запуска python-файла, который поставит новый файл в очередь.
Правильно ли я выбрал способ решения задачи, или есть какое-то более изящное/легковесное/просто решение? Не будет ли Celery в данном случае из пушки по воробьям?
