Два вопроса по request на python?

Question

[Кирилл Горелов]

Парни, привет.

Такая ситуация, нужно выполнить много тяжелых задач в короткое время, решили сделать на подобии распределенной системы. Отправляем параметры на разные сервера для параллельного вычисления.

Собственно говоря вопрос. Как нам отправить запрос с помощью библиотеки request не дожидаясь ответа, отправил данные и пусть они там сами себе вычисляются?? Не хотелось бы ставит таймаут на обрывании связи. Может есть какой-то другой способ?

И второй вопрос. Когда эти данные посчитаются они придут к нам обратно и нам их нужно записать. Вопрос как нам предусмотреть такой вариант что обратных запросов будет очень много что мы не сможешь их сохранить за один раз? У меня есть мысль - поставить на нашей стороне очередь и сохранять по мере поступления.

Конечно же я не говорю, что у нас будут объемы как у яндекса и к тому же думаю что все будет работать не плохо, но все же хотелось подложить соломку.
Кстати, если я не правильно мыслю, буду рад если направите в нужном русле.

Comments

[sim3x]

0. Куда отправляете?
1. Зачем отправляете?
2. При чем тут requests?

[Кирилл Горелов]

sim3x, условно говоря обмениваемся данными по rest. То есть есть небольшое api и выбрали requests для запросов.
Все сервера наши. Пока на тесте их 2, т.к. только прорабатываем теорию. если выстрелит, то серверов разрастется до десятков.

[sim3x]

Кирилл Горелов,
Те вы делаете на коленке очередь через одно место
Не стоит

Вам стоит почитать про очереди с распределенными воркерами и не городить "апи"

[Кирилл Горелов]

sim3x, Так мне же нужно выполнить задачи на другом сервере, не на основном. И передать туда данные.

[sim3x]

Кирилл Горелов,
Ну вот на "основном сервере" у вас располагается менеджер очереди, а на других воркеры
И менеджер очереди по бинарному протоколу передает/получает задачи и данные на инстанс воркера

[Кирилл Горелов]

sim3x, Я как понимаю мне celery подойдет для этих нужд?

[sim3x]

Кирилл Горелов, или zeromq

[Кирилл Горелов]

sim3x, А предположим если новые задачи будут появляться раз в 2-3 минуты, они будут вставать в очередь или сразу будут отправлены на выполнение на сторонний сервер?
И на стороннем сервере мне все равно придется делать что-то вроде апи для проверки входных данных, только я к нему уже буду обращаться через celery, которая будет отправлять запросы?

[sim3x]

Кирилл Горелов,
Зависит от настройки очереди и наличия свободных воркеров

И на стороннем сервере мне все равно придется делать что-то вроде апи для проверки входных данных

нет. Там у вас будет код воркера, который будет делать что положено и возвращать результат или ошибки
https://zeromq.org/get-started/

[Кирилл Горелов]

sim3x, Слушай, здорово, спасибо))
Это вполне заслуживает "решение".
Если что пиши как ответ)

[Кирилл Горелов]

sim3x, Можно я тебе еще пару вопросов задам??)))

Почему ты порекомендовал ZeroMQ, а не celery?

Я думаю выбрать zeromq, но вопрос. Как мне запускать задачи на клиенте, cron???

И т.к. мне надо запустить несколько разных задач, я буду писать несколько задач, которые будут запускаться на одном клиенте или на нескольких в рамках одного сервера?

И zeromq дружит с django, я посмотрел вроде нету ничего подобного.
Просто я пока не понимаю как мне брать из БД параметры и передать в задачу на выполнение. Конечно же почитаю документацию.....

Answer 1

[sim3x]

Задача слишком пространно описана
Однако по признакам она похожа на очередь задач с воркерами

Очередь мониторит состояние воркеров, управляет отправкой/получением/сохранением информации для воркеров
Воркер код, который занимает получением и обработкой, которое занимает продолжительное время
Очередь при наличии свободного воркера кидает ему задание на обработку
Воркеры масштабируются простым добавлением железа

Что выбрать из очередей
Для начала советуют селеру https://stackoverflow.com/questions/48250676/what-...

Я посоветую почитать get-started и выбрать то что понравится
Вначале не смотрите на производительность

Также почитайте про Kafka https://content.pivotal.io/blog/understanding-when...

Джанга имеет поддержку селеры из коробки https://docs.celeryproject.org/en/latest/django/fi...
Пояснять про то, как делать таски я не буду - доки у селеры отличные

Для общего понимания, как работать с zmq-django https://habr.com/ru/post/181037/
(Большая часть работы делается руками)

Comments

[Кирилл Горелов]

sim3x, привет)))
Слушай возник один простой вопрос.
А как мне запускать воркер, который отвечает за сервер, на стороне физического сервера??

Я тут поискал решение с flask

Я ведь правильно понимаю, что это один из вариантов?