Как организовать очередь задач в AppEngine?

Question

[klinifini]

Казалось бы простая задача, но уже бьюсь головой об стенку. Backend машина, есть метод, который выполняет задачу одна за другой, и если очередь задач пуста, завершается.

from google.appengine.api import taskqueue
from google.appengine.ext import webapp
from google.appengine.ext.webapp.util import run_wsgi_app

class Worker(webapp.RequestHandler):
  def get(self):
    q = taskqueue.Queue('pull-queue')
    tasks = q.lease_tasks(3600, 1)
    if len(a):
      task = tasks[0]
      # долгая работа с задачей
    q.delete(task)

application = webapp.WSGIApplication([('/backend', Worker)])

Соответственно фронтенд машина просто ставит задачу в конец очереди

q = taskqueue.Queue('pull-queue')
q.add(taskqueue.Task(payload=data, method='PULL'))

Как сигнализировать backend что задачи появились в очереди? Наверное, надо сказать, что это dynamic backend, и есть ситуации когда он просто не запущен.

Comments

[Артур]

Я тут посмотрел пример, ты используешь старую версию webapp, которая не умеет обрабатывать несколько запросов одновременно?

[klinifini]

Питон 2.5. В русской документации appengine ничего про webapp2 нет, как я понял для него нужно окружение 2.7? google.appengine.ext.webapp это уже устаревшая?

[Артур]

Там изменения в коде незначительные:

// app.yaml
application: myapp
version: 1
runtime: python27
api_version: 1
threadsafe: true
...
handlers:
- url: /.*
  script: myapp.app

// myapp.py
import webapp2

class MainPage(webapp2.RequestHandler):
  def get(self):
    self.response.headers['Content-Type'] = 'text/plain'
    self.response.out.write('Hello, WebApp World!')

app = webapp2.WSGIApplication([('/', MainPage)])

Версия питона не влияет на appengine. Нужно использовать последнюю из ветки 2.x питона, конечно же.

[Артур]

Если ваше приложение использует Master/Slave Datastore, тоже надо бы мигрировать на High Replication Datastore (HRD).

Answer 1

[Артур]

По cron'у запускать backend периодически.

Comments

[klinifini]

Задачи могут поступать подряд или могут несколько дней не поступать. Получится что иногда будет работать лишнее время.

[Артур]

Сделайте в datastore консистентный объект, который будет хранить время последнего запуска worker'а. И когда добавляете задачу, если worker давно не запускался (в документации написано через сколько запущенный процесс засыпает), запускайте через urlfetch.

[klinifini]

Тогда наверное лучше повесит хендлер на завершение инстанса в котором обновлять в датасторе информацию о состоянии инстанса.

[Артур]

С webapp2 можно поставить backend принимать запросы от пользователей и сразу их выполнять, сначала отдать им response, а потом выполнить задачу от пользователя. Я правда это только в теории представляю. :)

Answer 2

[xSkyFoXx]

Вы можете использовать асинхронные запросы через url fetch.

Comments

[klinifini]

Если бекенд занят, то он не отвечает на запросы. Делаю асинхронный запрос с deadline пол секунды, тогда если по таймауту вылетели, считаем что бекенд запущен и занят. Но это какой-то костыль же, к тому же задержку в пол секунды можно уменьшать до определенного предела, иначе почему-то вообще запрос к бекенду не отправляется.