Решение в лоб - сделать новую сущность, типа RakeTaskManager
Запускаются и обрубать таски из админки. При запуске в базу пишется активный статус. при выключении - неактивный.
Можно писать в базу айди процесса, а там уже пусть менеджер процессов какой-нибудь разбирается
Возможно, есть решения лучше, но тогда условия надо конкретней
P.S.
Вообще посмотрите в сторону God, Monit. Возможно, вам что-то подойдет. Возможно, есть готовые решения с веб-интерфейсом.