Добрый день
Имеется много утилит которые могут выполнять простую работу и все они выступают в роли mini web server (single thread)
Что становится не удобно, так как таких утилит довольно много и несколько копий на разных серверах(для ускорения работы)
Хочется сделать единый web-сервис для работы с ними.
1. К которому подключаются клиенты( другие программы) и ставят задание на обработку (json параметры до 1кб + файлы размером 1-100мб)
2. Утилиты которые переодически подключаются к этому серверу для получения заданий.
3. Желателен трекинг состояния задания, new, processing, error, completed
3.5 Part result если задача для нескольких утилит.
4. Минимальная авторизация
Есть ли уже подобные библиотеки ?
На данный момент думаю реализовывать с помощью nginx( client_body_in_file_only on ) + tornado (хочется попробовать long pooling для извлечения результатов\заданий)
Средний
Сложный
