Здравствуйте. Использую Celery, Celery beat, Redis, Python, Selenium
В тасках селери идут обращения к разным сайтам через Selenium и получение информации с них. По расписанию каждую минуту.
Иногда на сайтах не находится элемент или он не грузится или еще что. Это все в итоге рано или поздно приводит к зависанию Селери и неработе приложения. Что мне делать и как отделить каждый таск от влияния на приложение? Мол если проблема или подвисание, таск убивается.
Пробовал такое
https://selenium-python.readthedocs.io/waits.html#...
И time limit на таск.
Не помогает. Да ,если элемент не найден, это немного улучшает ситуацию, но если таск подвисает, все, капут.