Илья Король

Я не думаю, что задачи отменяются из-за проблем в Celery. Я думаю, не установлено ограничение на количество выполняющихся задач одновременно, из-за чего происходит переполнение памяти, из-за чего сами процессы просто падают. Попробуйте уменьшить количество воркеров в настройках запуска Celery

1) Перевести строку в нижний регистр можно с помощью метода строки str.lower()
2) Добавить в начале строки можно так: link = r"https://" + link
3)

for link in links:
      [some parsing link site]

4) Ну это работа с файлами в Python

Загоните весь код в конструкцию try except, который будет в while True

obj - это объект. Это не экземпляр объекта, поэтому ты никак не сделаешь это
Смотри Принципы ООП

Вы все условия пишете через запятую. Посмотрите синтаксис логических выражений

Рекурсивный обход графа не есть хорошее решение, так как может выйти ошибка с количеством рекурсий. Попробуйте обходить граф с помощью очереди. Уверен, при таком способе вылетов не будет, и обойти можно будет не за O(n!), a за O(n)

Обновите pyown до последней версии