Как обработать внешний API используя Flask?

Question

[Jekson]

Если не затруднит набросать последовательность шагов (соединяемся, сериализуем и т.д) для следующей задачи. Есть внешний Api содержащий данные в формате json. Надо получить эти данные, сформировать модели и добавить их в базу, и отдавать в собственный Api через систему фильтраций и сортировки. Ввиду неопытности в подобных вещах, нет четкого понимания дальнейших действий. Подробность приветствуется!

Comments

[Модератор]

Вопрос слишком общий. Исправьте его так, чтобы он описывал конкретную проблему с достаточной детализацией для определения адекватного ответа. Не задавайте сразу несколько вопросов.

Answer 1

[Алексей Черемисин]

Немного непонятна постановка задачи.
Вам нужно взять по данные с одного сервиса и опубликовать их в измененном виде в другой сервис? Если так, то причем здесь flask?
Данные хорошо забираются и отдаются через requests - docs.python-requests.org/en/master
И если у вас все идет в json, то у requests есть метод json(), который на выходе дает нормальный питоновский словарь (dict)

Flask же нужен для развертывания собственного сервиса.

Comments

[Jekson]

На flask будет вся логика писаться, предполагается, что функционал будет расти. На данный момент будет веб-приложение которое будет отображать на фронте только необходимые отфильтрованные данные с полученные внешнего API и отдавать собственный API. Как потом будет масштабироваться хз, но задачу надо делать на фласке.

[Алексей Черемисин]

Jekson, А, ну тогда понятно, да, flask тогда пойдет.

Не забудьте - фласк однопоточный, и если вам нужно забирать данные с внешнего API, то лучше использовать для этого очереди задач типа python-rq или celery. Другими словами, не запускайте внутри фласка долгоиграющих задач, а просто публикуйте задание в очередь.
Отдельный воркер (или несколько воркеров), который слушает очередь, будет забирать данные (requests, о нем я уже писал), фильтровать, и сохранять в собственную базу.

Что касается flask. Фласк будет показывать обработанные данные из вашей базы. Определитесь, где будуте хранить данные для обработки - SQL, noSQL, или что-то еще. В принципе, после того, как определились, задавайте вопросы по конкретной технологии.

В общем.
1) определиться с очередью - рекомендую начать с python-rq, как простой и достаточно надежной.
2) определиться с хранилищем (база данных) и
3) написать воркеров (к фласку это пока никак не относится)
4) написать api на flask под готовые данные и базу

[Jekson]

Спасибо, может еще подскажете для обработки данных с внешнего APi достаточно requests применять или стоит посмотреть в сторону сторонних библиотек типа Marshmallow?

[Алексей Черемисин]

Если у вас json, для чего все усложнять?
Вот пример, на коленке :-) (и да, я люблю этот сайт https://swapi.co и фильм )

>>> import  requests
>>> res = requests.get("https://swapi.co/api/people/")
>>> for actor in res.json()["results"]:
...   print actor["name"]
...
Luke Skywalker
C-3PO
R2-D2
Darth Vader
Leia Organa
Owen Lars
Beru Whitesun lars
R5-D4
Biggs Darklighter
Obi-Wan Kenobi
>>>

[Jekson]

Сформировалась картинка, вроде. За ссылку отдельное спасибо, для тестов самое оно)

[Алексей Черемисин]

Jekson, Аккуратнее, там есть ограничения на трафик :-)