ubirust, так Селера ж этим и ценна - отдельные воркеры которыми легко паралеллеить задачу, просто смотри что Селениум это отдельный скрипт и он дергается из воркера, можно писать в Джанго как угодно - через API, через модели (тогда да, импортить окружение придется), через базу и т.п.
в Celery передаешь только pk конкретной модели - т.е. построй так данные, дальше уже сереровские скрипты работают с моделями ответствнными за вход - можно выделить их в отдельное приложение , можно не выделять - я выделяю ибо СУБД разные - для парса оптимизирована под запись и вообще не всегда струкрутрирована
потом очищаешь - адаптируешь под CRM и вносишь в модели CRMки процеженные данные
по сути - одно приложения работает с Celery / Dramatiq , второе с CRM - но необязательно делить, можно и в одном, главное не смешивать чтение и запись постоянно одновременно
т.е. парс - частая запись, редко чтение (на обработку забирает)
cRM - редко запись - часто чтение (посетители сайта, поиск и т.п.)
maksam07, я ж без осуждения, с Таскером знаком, на HTC был еще, и мощная, но сейчас увы, и сложен и порезан, у меня платный ( он ерунду разово стоит + 50% постоянно скидки бывают) Макродроид, и смс и пуши перехватывает
а как ты по ссылкам ходить будешь?