Как заставить торнадо не блокировать IO?

Question

[rail01y]

Доброго времени суток, можете подсказать, почему торнадо лочит IO при выполнении следующего кода:

import time
import tornado.web
from tornado.ioloop import IOLoop
from tornado import gen
from tornado.concurrent import run_on_executor
from concurrent.futures import ThreadPoolExecutor

MAX_WORKERS = 4


class TestHandler(tornado.web.RequestHandler):
    executor = ThreadPoolExecutor(max_workers=MAX_WORKERS)

    @run_on_executor
    def background_task(self, i):
        """ This will be executed in `executor` pool. """
        time.sleep(10)
        return i

    @tornado.gen.coroutine
    def get(self):
        """ Request that asynchronously calls background task. """
        print('%s news handler accept' % time.time())
        res = yield self.background_task(time.time())
        self.write(str(res))


application = tornado.web.Application([
    (r"/", TestHandler),
])

application.listen(8888)
IOLoop.instance().start()

про gen.sleep знаю, но как заставить этот код не блокировать приложуху?

Comments

[Сергей Горностаев]

Так он её и не блокирует.

[rail01y]

Pavel Denisov, тогда что я делаю не так, шлю два запроса, print отрабатывает после того, как вернется первый ответ?

[Сергей Горностаев]

rail01y, видимо, запросы шлёте неправильно. Если открыть два браузера и отправить запрос к localhost:8888 одновременно, то оба запроса будут приняты и спустя 10 секунд вернут ответ, как и полагается. Если бы была блокировка, то сначала один бы ответил через 10 секунд, потом второй был бы принят и ответил бы ещё через 10 секунд.

[rail01y]

Pavel Denisov, Сергей Горностаев, шлю запрос с разных браузеров, print выводиться после того, как ответ пришел в одну из вкладок

[Сергей Горностаев]

rail01y, странно. У меня ваш код работает правильно, как и должен.

[rail01y]

Сергей Горностаев, видимо я у аутист, но в итоге попробовал сделать так5

import concurrent.futures
import tornado.ioloop
import tornado.web
import tornado.gen
import time

thread_pool = concurrent.futures.ThreadPoolExecutor(max_workers=4)


def demo_future(func):
    def wrap(*args, **kwargs):
        return thread_pool.submit(func, *args, **kwargs)

    return wrap


@demo_future
def fucking_lock(req):
    print('lock')
    time.sleep(10)
    req.write('hello user')


class MainHandler(tornado.web.RequestHandler):
    @tornado.gen.coroutine
    def get(self):
        print('hello mf')
        yield fucking_lock(self)


def create_app():
    return tornado.web.Application([
        (r'/', MainHandler)
    ])


app = create_app()
app.listen(8888)
tornado.ioloop.IOLoop.instance().start()

насколько правильно мне request пробрасывать дальше в функцию, что бы в ней вернуть ответ?

Answer 1

[Сергей Горностаев]

Я кажется знаю, что у вас происходит. С кодом у вас всё в порядке, не в порядке с методом тестирования. Наверняка вы открываете две вкладки в одном браузере и отправляете запросы из них. Но ни Google Chrome, ни Mozila Firefox не будут отправлять второй запрос на тот же адрес, пока не получат ответ на первый. Даже если запустить два окна. А вот IE11 без проблем отправляет одновременно два запроса на один адрес из вкладок. Попробуйте запустить два разных браузера, а ещё лучше используйте для тестов curl.