Flask API и Чат. Как реализовать, куда копать?

Question

[Матвей Устинов]

Выполняю тестовое задание.
Нужна подсказка в этапах и методах реализации чата, где в качестве бекенда выступает REST API реализованное на Flask-е.
Я как-то имел дело с апи на DRF(Django Rest Framwork), но работал чисто с бэкендом и апи. Там как-то было попроще - от клиента пришел запрос, сервер отправил ответ. И как-там работает фронтенд клиент меня особо не волновало. А тут мною же, по заданию должен быть реализован фронтенд-клиент так же на Flask-е.
Начал реализовывать, но что-то я запутался каким образом все это дело должно крутиться.
Сейчас у меня есть несколько вьюх. Но проблема в том, что они используют шаблоны для отображения страниц на клиенте. То есть всё смешалось в кучу и нет разделения клиента и апи бэкенда.

Например возьмем этап с регистрацией: есть адрес 127.0.0.1/register
При заходе на эту страницу отображается форма с полями. Далее после того как пользователь нажал на кнопку отправить, вьюха выполняет простую валидацию, заносит данные в БД, устанавливает клиенту куки с сессией и перенаправляет через редирект на главную страницу чата.
И всё бы ничего, но по заданию, всё должно быть немого не так. По идее клиент должен был отправить json с запросом на 127.0.0.1/api/register где сервер должен был что-то отправить в ответ. И далее уже что-то должно произойти.
Вот именно так бы хотелось реализовать данную задачу, но что-то совершенно не пойму каким образом реализовать такую работу фронта с апишкой.

На текущий момент код вьюх выглядит вот так pastebin.com/UGt8qPhU.

Answer 1

[Алексей Черемисин]

Чтобы сервер выдавал json, а не рендерил темплейты, достаточно просто возвращать через flask jsonify()

Вот например у меня так

from flask import jsonify

# Begin AJAX requests
@cart.route("/api/total")
def total():
    count = 0
    if "cart" in session:
        cart = session.get("cart")
        l = [int(i) for i in redis.hvals(getCartKey(cart))]
        count = sum(l)
        logger.debug('cart %s : %d', cart, count)
    data = calculateItems()
    data.pop("products")
    return jsonify(dict(count=count, **data))

Ну и описание jsonify из кода flask.

"""Creates a :class:`~flask.Response` with the JSON representation of
the given arguments with an `application/json` mimetype. The arguments
to this function are the same as to the :class:`dict` constructor.

Example usage::

from flask import jsonify

@app.route('/_get_current_user')
def get_current_user():
return jsonify(username=g.user.username,
email=g.user.email,
id=g.user.id)

This will send a JSON response like this to the browser::

{
"username": "admin",
"email": "admin@localhost",
"id": 42
}

For security reasons only objects are supported toplevel. For more
information about this, have a look at :ref:`json-security`.

This function's response will be pretty printed if it was not requested
with ``X-Requested-With: XMLHttpRequest`` to simplify debugging unless
the ``JSONIFY_PRETTYPRINT_REGULAR`` config parameter is set to false.

.. versionadded:: 0.2
"""

Что касается сообщений и их ожидания на стороне сервера, есть техника, называется long pooling, или использовать websocket (но к нему все тоже самое относится!"), и для реализации необходимо или запускать flask в режиме тредов app.run(threading=True), или использовать WSGI-враппер на основе gevent.
Как пример - https://bitbucket.org/jeunice/flask-ws-example/src...
и
https://github.com/sigilioso/long_polling_example

Comments

[Матвей Устинов]

Спасибо.
Да, это-то понятно, что нужно все сериализовывать и отправлять на клиент.
Но вот как быть с регистрацией и авторизацией клиента?
Сделать простую вьюху которая будет рендерить шабон с формой регистрации, а потом что происходит?

[Алексей Черемисин]

Зачем вам вьюха для ajax? просто принимайте json в POST, авторизуйте, а на выход выдавайте сгенерированный токен, с которым ваши ajax-скрипты будут делее бегать.
Но можно и не городить огород, а
- включить CSRF
- можно использовать flask-security, там из коробки есть механизмы для ajax авторизации с получением токена.
flask.pocoo.org/docs/0.11/security
и/или https://pythonhosted.org/Flask-Security/

[Матвей Устинов]

Тэкс, давайте теперь по порядку :)
1) Пользователь заходит на главную страницу сайта, видит авторизационную форму для ввода логина и пароля. Вот эту форму кто доставляет в браузер? Вьюха от фласка?

[Алексей Черемисин]

Матвей Устинов: Тэкс. Ответ не так прост! А как вы эту форму планируете отправлять обратно?!
эта форма может быть выведена как минимум тремя путями:
1) просто рендерится из темплейта главной страницы
2) включается в html на стороне браузера через подзапрос ajax, типа

$.get( "assets/mylogin.html", function( data ) {
  $( ".myloginform" ).html( data );
});

;
3) просто формироваться через JS
Ну и данные самой формы могут быть отправлены на сервер как минимум тремя путями
1/2) методами get/post через HTML-форму
3) через ajax
У вас то как будет?

[Матвей Устинов]

Хотелось бы чем проще тем лучше))
Вот например на текущий момент форма сверстана на бутстрапе. Рендерится из темплейта.
Вот эта вьюха, где index.html это шаблон с формой авторизации:

@app.route("/")
def index():
if 'username' in session:
# If user already logged in then redirect to main chat window.
return redirect(url_for('chat'))
else:
return render_template('index.html')

В принципе я не против JS, jQuery, хочется сразу и к этому прикоснуться, чтоб иметь хоть какое-то представление о том как работает клиент в связке с апи.

[Алексей Черемисин]

так, я кажется понял, вам нужно авторизоваться без редиректов?!
тогда форму логина передаете через ajax, а вместо рендера темплейта выдаете токен через jsonify. принимаете в JS в ответе этот токен и все последующие запросы делаете с этим токеном.
автоматически это все реализовано, чтобы самому не выписывать, во flask-security. там есть эндпоинт для авторизации по ajax, который в обратную сторону отдает json с токеном.

[Алексей Черемисин]

вот здесь более менее описано кв примерах - mandarvaze.github.io/2015/01/token-auth-with-flask...

[Матвей Устинов]

Алексей Черемисин: Спасибо!
На самом деле не то, чтобы без редиректов, мне разницы особо нет так как я собственно вообще даже не знаю как оно может всё быть реализовано. Поэтому и спрашиваю как это все желательно и нужно делать.

Пока что, на текущий момент я усвоил как работает авторизация - после отправки данных из формы на сервер, сервер передает клиенту токен и каждый последующий запрос от клиента должен производится с этим токеном. С этим вроде бы прояснилось. Пойду погляжу ссылку. А клиент как должен хранить этот самый токен? Как-то в куки?

[Алексей Черемисин]

Матвей Устинов: так, токен нужен только для ajax! а если через форму, то фласк и так устанавливает куку. самому авторизацию лучше не писать! берите или flask-login (простой, толкьо авторизация через формы), или flask-security (более высокоуровневый с ролями, внутри использует flask-login). последний и прикручивайте на сайт, тогда авторизация будет прозрачная и через формы и по токенам.

[Матвей Устинов]

Алексей Черемисин: И это всё можно реализовать таким образом, чтобы сервер предоставлял отдельные АПИ ресурсы? /register, /auth, /send(для отправки сообщений в чат), /recv(для опроса новых сообщений)
Правильно ли я понимаю, что для того, чтобы было разделение клиента и АПИ сервиса, клиент должен слать ajax запросы, быть написан на JS или любом js-фреймворке, который бы отправлял запросы на ресурсы АПИ сервиса?

[Алексей Черемисин]

Матвей Устинов: Именно так, клиент должен слать ajax запросы. А сервер предоставлять API.

[Матвей Устинов]

Алексей Черемисин: Хорошо. Спасибо, что помогли разобраться с одним из вопросов. Тогда буду использовать flask-security. Попробую по крайней мере. Просто у меня тут одним из условий является то, что в качестве базы данных нужно использовать Mongo. Надеюсь, это не будет помехой для работы сторонних библиотек.

[Алексей Черемисин]

Матвей Устинов: flask-security дружит с монго! а я его сейчас пытаюсь дружить с elasticsearch :-) для себя любимого, а там может и выложу.

[Матвей Устинов]

Алексей Черемисин: Будет интересно поглядеть :)

[Алексей Черемисин]

Матвей Устинов: Мне тоже :-)

[Матвей Устинов]

Алексей Черемисин: Вот что я наметил исходя из беседы и прочитанного: при входе на сайт, вьюха index рендерит и отправляет в браузер шаблон. В шаблоне будет подключаться js скрипт. Далее, по нажатию на submit браузер отправляет ajax запрос на сервер. Сервер возвращает токен. Клиент как-то этот токен сохраняет и держит для последующих запросов к api. Я правильно все спланировал? Если да, то еще один вопрос-как клиенту хранить токен для будущих запросов?

[Алексей Черемисин]

Матвей Устинов: передавать его через хедеры http.

[Матвей Устинов]

Алексей Черемисин: Приветствую, Алексей. Спасибо вам большое за подсказки! Примерно на 50% проект выполнен. С помощью flask-security удалось реализовать генерацию токена при успешной регистрации и авторизации пользователя через signin/signup форму. Сам токен сохраняю в local storage для последующих запросов к API.

Далее, по условию задачи, необходимо реализовать отправку/получение сообщений в чат через RabbitMQ.
Вот теперь возник такой вопрос - каким образом нужно реализовать воркеры, чтобы они обрабатывали очередь и отсылали эти сообщения каждому подключенному клиенту? Что-то вот тут я никак не могу сообразить какая связка и последовательность должна быть.

Создал новый ресурс /api/send, к которому есть доступ только при наличии валидного токена. Этот ресурс принимает json-ом сообщение, которое предназначено для отправки в чат. Далее, в самой вьюхе я вызываю функцию, которая будет слать сообщение в RMQ. Очередь будет создаваться уникальная, по имени пользователя.

По условию задачи, клиент должен получать сообщения через /api/receive.
Я предполагал сделать так - при входе в чат, создается/запускается воркер, который и будет слушать очередь и отсылать сообщения клиенту при поступлении в очередь.

Подскажите пожалуйста, в правильном ли направлении я двигаюсь? Что-то меня смущает, то, что я буду создавать кучу воркеров, количество которых равно количеству онлайн пользователей в чате. Или все правильно, и так и должно быть?

[Матвей Устинов]

Алексей Черемисин: P.S. Работу клиента по авторизации реализовал на jQuery. Не стал городить громозкости в виде фреймворков вроде Angular, Aurelia, хотя советовали.

[Алексей Черемисин]

Матвей Устинов: тут немного магии нужно. Фласк сам по себе однозадачный, нужно фласк запускать в режиме wsgi с чем нибудь типа gevent! Тогда на каждый запрос вы вешаете слушатель очереди кролика, и все! Для фласка я такое не делал, с очередями работал только через twisted + cyclone.io. Там все просто, так как сам твистед асинхронный. В принципе можно фласк запустить и под твистед.

[Алексей Черемисин]

Матвей Устинов: ну а лучше, отдельным вопросом это задать.

[Матвей Устинов]

Алексей Черемисин: Нашел кое чего, ура! https://flask-socketio.readthedocs.io/en/latest/
Думаю это то, что надо :)

[Алексей Черемисин]

Матвей Устинов: Ну, как бы там тоже нужно одно из eventlen/gevent/Werkzeug. Другой вопрос, что это все под капот упрятано и наружу не торчит. Так что пользуйте.

Answer 2

[planc]

https://classroom.udacity.com/courses/ud388/
https://blog.miguelgrinberg.com/post/designing-a-r...
shop.oreilly.com/product/0636920034803.do - на рутрекере есть

Comments

[Матвей Устинов]

За ссылочки большое спасибо. Приятный курс на Udacity.
А вот в статье Мигеля, нашел кое, что интересное:
"The easiest way to secure our web service is to require clients to provide a username and a password. In a regular web application you would have a login form that posts the credentials, and at that point the server would create a session for the logged in user to continue working, with the session id stored in a cookie in the client browser. Unfortunately doing that here would violate the stateless requirement of REST, so instead we have to ask clients to send their authentication information with every request they send to us."
Кажется оно самое.

[Матвей Устинов]

Я прав?

[planc]

на udacity смотри lesson 4
вот еще из книжки Мигеля код:
https://github.com/miguelgrinberg/flasky/blob/mast...

[planc]

https://github.com/miguelgrinberg/flasky/blob/mast...

[planc]

https://www.youtube.com/watch?v=tdIIJuPh3SI вот тут чат api + backbone

Answer 3

[KIN1991]

Попробуй вот это, https://pypi.python.org/pypi/json-rpc/