Как организовать пользовательский скриптинг в python-приложении?

Question

[HgeN]

Есть необходимость реализовать возможность написания кастомных обработчиков логики. Подразумевается, что писать обработчики придется простым пользователям мало знакомым с программированием.

При этом само приложение асинхронно (tornado) и нельзя допускать чтобы пользовательский скрипт заблокировал основной поток исполнения. Смотрел в сторону альтернативных интерпретаторов и гринлетов, но не нашел хороших примеров реализации подобной задачи.

Answer 1

[Alex Chistyakov]

Исходя из требования невозможности блокировки стейт-машины Tornado следует вывод о необходимости создания пула обработчиков пользовательских скриптов (на чем бы они ни были) и управления этим пулом. Планировщик может работать простейшим образом - при старте создается N воркеров, далее, при назначении задания на воркер, он помечается как занятый. Когда пользовательский скрипт отработал, воркер освобождается. Если все воркеры заняты, пользовательские задачи стоят в очереди,

кстати, если с самого начала взять систему, имплементирующую очереди - RabbitMQ, например, то все становится еще лучше - вместо пула обработчиков в приложении создается пул консьюмеров соотв. очереди в RabbitMQ, причем, консьюмеров можно добавлять динамически, не релоадя никакие конфиги торнадо-сервера.
А вот на чем будут написаны сами пользовательские скрипты - это вообще неважно, хоть на VB.

Comments

[HgeN]

Какой-нибудь селери подойдет для такого варианта?

В целом это вообще хороший вариант, но у меня только есть подозрения, что производительность будет плохой.

У меня есть основное приложение, в котором SockJS и торнадо реализуют пользовательский API, там же можно подписаться на события, которые кладутся в capped collection монги. А вот сами события я хотел обрабатывать уже другим приложением.

На одно событие может быть несколько обработчиков, как системных, так и пользовательских.

[Alex Chistyakov]

Да, селери подойдет, мои коллеги, разрабатывающие веб-приложение на питоне, именно его и используют. Будет ли плохой производительность? Я сильно сомневаюсь, что Вы упретесь в производительность сетевого взаимодействия. Если все это на одной машине - точно не упретесь. Если все это в одной гигабитной сети - не упретесь довольно долго (сложно прогнозировать, не зная деталей бизнеса и приложения).

[HgeN]

@alexclear спасибо большое! Тогда не буду мудрствовать лукаво и сделаю все как можно проще.