Советую вместо Celery использовать django-background-task ... Для фонового парсера более чем достаточно, параллелится по ядрам, можно управлять фоновыми задачами из админки, работает на той-же СУБД что и основной проект (можно и разнести, при желании). Сам же процесс django-background-task запускать при старте при старте системы через systemctl или rc.local