Как запустить python-скрипт через web-интерфейс и вернуть ответ о выполнении?

Question

[Виктор Щерба]

Всем добрый день.

Подскажите, как можно реализовать следующую задачу:
Есть скрипт на python, который решает математическую задачу.
Исходные данные для задачи хранятся в БД, из которой планируется тянуть данные.
Также будет веб-интерфейс на Django, через которые эти исходные данные можно править.
Сейчас я запускаю скрипт из терминала и даю ему тестовые данные из csv-файликов.

Исходя из вышесказанного несколько вопросов:
1) Как запустить скрипт с расчетами на сервере через веб-сайт?
2) Как реализовать ответ скрипта со статусом выполнения, чтобы было возможно просигнализировать пользователю о выполнении?

UPD: Решается задача линейного программирования большой размерности, из-за чего время решения может быть большим; либо я могу задать время исполнения сам.

Comments

[Виктор Щерба]

Спасибо всем за ответы, буду смотреть в сторону Celery

Answer 1

[kfuntov]

1) Есть много способов запустить серверный консольный скрипт из веб-морды, надо смотреть на конкретные обстоятельства, навскидку пара:
* Celery (www.celeryproject.org/) - достаточно большая инфраструктура для исполнения задач
* os.subprocess.call (https://docs.python.org/2/library/subprocess.html) - запуск команд из python-скрипта
Чтобы выбрать из этих двух, надо ответить примерно на такие вопросы:
* Запускаемая хрень - python-скрипт, который я могу модифицировать? (Если нет, то celery не очень удобно прикручивать, но есть и другие адекватные решения)
* Будет ли плохо, если кто-то (или несколько человек) быстро запросят исполнение запускаемой хрени много раз одновременно? (Если да, то subprocess вряд ли подойдёт, так скорее всего нужен какой-либо менеджер очередей)

2) Сигнализация о завершении чего либо может быть разнообразной (скорее всего всё это вы видели в разных системах):
* Отображать статус на специальной странице (или всех страницах) - пользователю надо обновлять страницу, чтобы увидеть смену статуса.
* AJAX запросы к серверу, которые обновляют статус, отображаемый на странице автоматически
* e-mail или sms
* push-уведомление в мобильное приложение :)

Если вы определитесь, могу описать что-то подробнее (каждый вариант рассматривать подробно, к сожалению, крайне лень).

Comments

[Виктор Щерба]

Решается задача линейного программирования большой размерности, из-за чего время решения может быть большим; либо я могу задать время исполнения сам.

[kfuntov]

Будет ли плохо, если кто-то (или несколько человек) быстро запросят исполнение запускаемой хрени много раз одновременно? (и возможно ли это?)

Выбрали ли вы способ сигнализации?

[Виктор Щерба]

Если запустят одновременно, будет не очень хорошо. Вообще права на запуск операции будут у нескольких человек, и я планирую проверять статус процесса, запущен ли он, и если запущен, то блокировать возможность повторного запуска

[Виктор Щерба]

А способ сигнализации: мне будет достаточно вывести AJAX`ом на страницу сообщение о завершении выполнения.

[kfuntov]

С помощью celery можно создать 1 воркер, и очередь выполнения, таким образом при попытке запуска второго скрипта он будет ждать завершения первого и только потом запускаться. Также, там можно реализовать уникальные задачи (вроде того, что если задача с какими-то параметрами есть в очереди или уже выполняется, то вторая с такими же не может быть добавлеа в очередь).

Короче, если вы можете вносить изменения в свой консольный python-скрипт, то у вас не должно быть больших проблем преобразовать его так, чтобы он работал с celery и записывал в базу данных статус окончания работы, который вы сможите запрашивать с помощью AJAX.

Answer 2

[SilentSokolov]

Обе задачи можно решить с помощью Сelery, но можно взять что-то полегче по типу python-rq, но там придется помучиться со статусом выполнения.

Answer 3

[rzhannoy]

Интегрируйте в проект celery и выводите логику в соответствующий таск. Уведомление о выполнении можно слать на мыло или показывать прям на странице. Самый простой и гибкий вариант для вашего случая.

docs.celeryproject.org/en/latest/getting-started/i...
docs.celeryproject.org/en/latest/django/first-step...

Answer 4

[Валентин]

Так если скрипт на python-е, а в качестве веб-интерфейса - django, почему бы не взять код в скрипте в отдельную функцию, а в обработке django просто сделать импорт и вызвать эту функцию? Зачем мудрить)

Comments

[GSnick]

Извините, а не могли бы вы чуть-чуть подробней как это реализуется, т.к. я в Django полный 0. Имеется существующая система учета оборудования на Django и есть python-скрипт, который при указание ip оборудования telnet'ом стучится на железку и выводит в консоль необходимую информацию. Необходимо интегрировать в систему возможность опроса оборудования этим скриптом по клику и обеспечить дальнейший вывод информации в web-форму, формируемую django.
Куда именно необходимо импортировать функцию? А если подскажете что лучше почитать по django, чтобы решить эту задачу и полностью не углубляться в изучении Django, то цены вам не будет =)

Answer 5

[EvilX]

Скрипт долго выполняется? Может, старого-доброго cgi хватит?

Comments

[Виктор Щерба]

У меня решается задача линейного программирования, и есть возможность задать время выполнения решения.