Как научить общаться несколько модулей на Python?

Question

[zdr]

Есть несколько модулей на Python. Расположены на разных серверах.
Планируется использовать 1 сервер(обработчик) и несколько клиентов(парсеры).
Рассматривал питоновские сокеты и кафку.
Расскажите, поделитесь опытом, как правильно выстроить взаимодействие? Какими инструментами пользоваться?

Comments

[_]

Напишите подробнее за что отвечает "обработчик" и за что - "парсеры"
Скорее всего вам подойдет publish-subscribe архитектура на базе какой-нибудь очереди. Например rabbitmq или kafka.

[javedimka]

Как угодно, на самом деле.
У нас некоторые модули через редис общаются. Потому что быстрее рэббита и возни меньше.

Ещё некоторые модули, которые как раз что-то типо диспетчер-парсеры, по проприетарному протоколу поверх UDP

Но в целом Вообще вопрос ни о чем. Тут надо знать что будет передаваться и на сколько оперативно это все нужно

[zdr]

_, По сути это обход блокировки сайта на большое количество запросов с одного IP
Парсеры берут некую информацию с сайта. передают на сервер.
Сервер, в свою очередь, никуда не ходит а обрабатывает и выдает результат
К слову сказать нагрузка не такая уж и большая (~2 запросов в секунду)
Интересует менее трудозатратный вариант. Быстродействие не в приоритете. javedimka

[javedimka]

zdr,
Либо rabbitmq - либо любая другая очередь. Но придётся разбираться.

Чтобы не разбираться - результат работы парсера писать в файл, например в виде json. После чего выполнять команду вида os.system('scp myfile_20200703124051231.json myserver:/home/parsers/results') А обработчиком проверять наличие новых файлов в соответствующей папке и обрабатывать их. Но тут надо будет без парольную аутентификацию между серверами настроить

Answer 1

[Антон Муравьев]

Для реализации архитектурного подхода с обработкой данных через worker'ов для Python актуален Celery. У него есть хороший гайд first steps, который поможет поднять брокер и понять азы работы. Есть возможность работы с различными вариантами брокеров (вместо Kafka).

Если наличие брокера не обязательно и можно обойтись простыми HTTP-соединениями (предполагаю это из-за упоминания сокетов), рекомендую посмотреть в сторону Bottle и делать запросы через библиотеку Requests.