Как лучше связать парсер и Django?

Question

[ubirust]

Я написал парсер на Python, который мониторит новые объявления на досках объявлений, каждую секунду делает запрос, чтобы найти новое объявление.

Далее я написал что-то типо CRM на Django, которое ДОЛЖНО выводить новые объявления из парсера.

Но у меня вопрос. Как связать парсер и CRM? У меня была идея просто через Post запрос отправлять данные из парсера в Django. Но для этого придется разделить 2 этих приложения, я имею здесь ввиду:
1.Запустить отдельно на сервере парсер

2.Запустить отдельно Django и ловить от парсера запросы и потом выводить в новые объявления в CRM (таблицу)

Сейчас уже реализован код, который обрабатывает Post запрос и удачно выводит через websocket (django channels) новые объявления.

НО. Мне кажется это не логично.

Я бы хотел, чтобы парсер был внедрен внутрь проекта Django. Чтобы он работал в условно в отдельном потоке и напрямую вызывал функцию вызова websocket для динамического обновления контента в CRM:

channel_layer = get_channel_layer()

# Когда парсер находит новое объявление:
async_to_sync(channel_layer.group_send)(
   "listings",  # Название группы
   {
      "type": "listing_message",  
      "listing": data  # Данные объявления
   }
)

Но как это сделать? Я начал пробовать это реализовать через Celery:

1.Для начала создал новый пакет в моем приложении, туда закинул скрипты моего парсера. Там В результате как раз таки вызывается channel_layer = get_channel_layer(), это про то что я писал ранее

2.Настроил Celery

Запустил worker celery, запустил джанго. Вызвал задачу парсера, вроде worker запустился. Но я так понял парсер работает не верно, потому что функция использует асинхронный код (asyncio). Celery, в свою очередь, работает на основе синхронных задач.

Прочитал в инете, что нужно использовать Celery с поддержкой асинхронности, например, настроив Celery с eventlet или gevent.

Но что-то мне кажется, что я уже перемудрил максимально. Может кто делал похожую задачу?

По факту нужно объединить парсер и Django (отображение новых объявлений в CRM).

Возможно кто-то скажет: используй вэбхуки:

Задача же стоит в реальном времени обновлять выдачу, без перезагрузки страниц.

Я ранее примерно так и делал. Я просто сохранял данные в бд. А в самом html я просто прописал ajax скрипт, который каждую секунду обращался в базу данных и если там новое объявление выходит, то оно там тоже появлялось.

Но! Меня почему-то это смущает, потому что через режим разработчика видно, как эти запросы вызываются.

Именно поэтому решил перейти на websocket:

channel_layer = get_channel_layer()

# Когда парсер находит новое объявление:
async_to_sync(channel_layer.group_send)(
   "listings",  # Название группы
   {
      "type": "listing_message",  
      "listing": data  # Данные объявления
   }
)

Как лучше реализовать задачу?

Comments

[Модератор]

Не надо ставить как можно больше тэгов. Лучше оставить один, но конкретный, с которым проблема.
См.п.3.1 Регламента. Также обратите внимание на п.3.4

Answer 1

[Dimonchik]

как-то так
https://docs.celeryq.dev/en/stable/django/first-st...

воркеры и парсер живут у тебя отдельно, но работаешь сразу с моделями
CRM - отдельно

Comments

[ubirust]

Спасибо. К примеру, парсер работает через celery, он находит новое объявление и складывает данные в словарь new_ad. (внутри ключи заголовок, цена, и т.д.) прямо внутри этой задачи нужно передавать их в бд через модели?

[Dimonchik]

да
я а всех подобных проектах так строю

в Celery передаешь только pk конкретной модели - т.е. построй так данные, дальше уже сереровские скрипты работают с моделями ответствнными за вход - можно выделить их в отдельное приложение , можно не выделять - я выделяю ибо СУБД разные - для парса оптимизирована под запись и вообще не всегда струкрутрирована

потом очищаешь - адаптируешь под CRM и вносишь в модели CRMки процеженные данные

по сути - одно приложения работает с Celery / Dramatiq , второе с CRM - но необязательно делить, можно и в одном, главное не смешивать чтение и запись постоянно одновременно

т.е. парс - частая запись, редко чтение (на обработку забирает)
cRM - редко запись - часто чтение (посетители сайта, поиск и т.п.)

[ubirust]

Dimonchik, А если в парсере используются асинхронные функции, также там есть работа Селениум браузера. Как будто бы легче сделать так: Отдельный парсер, взаимодействующий с Django через API.

Я понимаю Celery, когда нужно использовать его для небольшой функции. А когда нужно засунуть в Celery нечто большое, то уже пока не понимаю как всё это в нем работать будет.

[Dimonchik]

ubirust, так Селера ж этим и ценна - отдельные воркеры которыми легко паралеллеить задачу, просто смотри что Селениум это отдельный скрипт и он дергается из воркера, можно писать в Джанго как угодно - через API, через модели (тогда да, импортить окружение придется), через базу и т.п.