Сергей Горностаев

Так как у celery не встроенного interval планировщика который бы мог динамически в рантайме создавать таски

А это что?

Ну, использовать Celery для добавления поста - это оверкилл. А вообще смысл в том, что обработчик http-запроса должен максимально быстро отвечать на запрос и завершать работу. Параллельность в Django, как и во многих других фреймворках, обеспечивается запуском нескольких процессов. Если обработчику запросов на ответ нужна например одна секунда и запущено три процесса, то сервис способен обрабатывать не больше трёх запросов в секунду. Если запросов будет в десять раз больше, то некоторым из них придётся десять секунд висеть на загрузке и может быть даже отвалиться по таймауту. Если же процессов запустить много, то будет высокий расход ресурсов сервера. Так что разумно всё, потенциально требующее больше 100 миллисекунд, засовывать в очередь для обработки в фоне.

Никак. Таски Celery запускаются в виде отдельных процессов, а у каждого процесса собственное адресное пространство.

Celery написан на Python, так что его можно запустить везде, где работает Python. Читайте документацию вместо просмотра видео от хрен пойми кого.

RabbitMQ на хосте не запущен.

Категорически не понимаю, зачем вы наращиваете счётчики в цикле, тем более в асинхронной задаче. Правильно это делается так:

page.pageaudio_set.all().update(counter=F('counter ') + 1)

Но если уж очень хочется зачем-то сделать это в асинхронной задаче, то лучше так:

trasactiontaskfunc.delay({
    'audio': list(page.pageaudio_set.values_list('id', flat=True)),
    'video': list(page.pagevideo_set.values_list('id', flat=True)),
    'text': list(page.pagetext_set.values_list('id', flat=True)),
})

def trasactionfunc(totrasaction):
    try:
        with transaction.atomic():
            Audio.objects.filter(id__in=totrasaction['audio']).update(counter=F('counter ') + 1)
            Video.objects.filter(id__in=totrasaction['video']).update(counter=F('counter ') + 1)
            Text.objects.filter(id__in=totrasaction['text']).update(counter=F('counter ') + 1)
    except:
        transaction.rollback()
    else:
        return True
    return False

А ещё лучше сделать Content не абстрактным и передавать идентификаторы простым списком.

P.S. Явно откатывать транзакция не нужно, контекстный менеджер делает это за вас.

https://devcenter.heroku.com/articles/celery-heroku

some_task.apply_async(eta=obj.next_run)

Huey. А если уже используете uWSGI, то uWSGI Spooler. Или, если уж заниматься оптимизацией, написать своё узкоспециализированное под ваши задачи решение, которое будет однозначно менее ресурсоёмким, чем универсальное.

Лучше второе, проще делать повторные попытки с нарастающим ожиданием в случае сбоя отправки.

Во-первых, таск должен быть Abortable:

from celery.contrib.abortable import AbortableTask

@app.task(bind=True, base=AbortableTask)
def testtask(self):
    ...

Во-вторых, вместо while True: надо while not self.is_aborted():