Существует ли легковесный аналог rq, но использующий не Redis?

Question

[PoopZemli]

Есть необходимость регулярно забивать большую очередь. Redis хранит информацию в оперативной памяти. Иногда ее может не хватать. Иногда может возникнуть необходимость перезагрузить компьютер до окончания выполнения всех задач в очереди. (Не знаю, умеет ли Redis сохранять базу между запусками.) Хотелось бы иметь что-нибудь легковесное, как rq, но нечувствительное к объему оперативной памяти.

Answer 1

[kolofut]

Redis умеет писать на диск, причем там есть несколько стратегий записи, подробнее тут сцылко.

Comments

[PoopZemli]

Разобрался с celery. Она умеет в MongoDB хранить очередь. Хотя в документации написано, что монго не самый лучший вариант для бэкэнда в celery, мне он подошел, и проблем замечено не было. Тем более, я обычно монго и использую как основное хранилище.

Answer 2

[pansa]

Пишите в текстовые файлы, в режиме append .
Ротируйте их каждые N секунд/минут, сколько вам надо. Отротированные файлы разгребает воркер, а все новые входящие - идут в текущий файл.
Очень просто и тупо =)