Артем Советников

1. Про нехватку памяти проверьте сначала, запутить скрипт и в консоле запустите top - наблюдайте как растёт память.
2. Если у вас 5млн записей, то вы принципиально неправильно сделали работу. Вы зачитываете в память сразу всё, хотя ваша единичная операция требует всего одного продукта.
Пишите код правильно, а не делайте костыли, которые восстанавливают работу после того как что-то у вас отвалилось.
3. Вы поулчаете данные по 1000 позиций в connect ... встройте туда же вашу обработку для Product, тупо копипастом хотя бы - это решит проблемы с памятью, если проблема именно в этом.
Обрбатывайте по 1000 позиций за раз.

Ещё поясню:
- когда заканчивается память - это нештатная ситуация для всей системы и для СУБД в первую очередь, есть вероятность потерять данные
- сохранять состояние offset для client.service.doGetItemsList тоже хорошая идея для случаев обрыва связи, но это только если она у вас рвётся

websokets это для двусторонней коммуникации, не надо туда файлы запихивать (ну только если очень хорошо понимаете зачем).
Так же файлы не надо запихивать в реляционную СУБД :)

Единственное ... "здесь обработка файла в очереди (RabbitMQ)" это вы сообщение в очередь кидаете или какой-то код обработки менно в perform_create работает?

Если при изменении статуса заказа надо отправить оповещение пользователям, то save_model в ModelAdmin это не самое лучше место, вернее даже худшее из приходяших на ум.
Статус заказа может быть изменен и в других местах ... (до уровня тригеров в БД опускаться не будем).

Используйте post_save сигнал. Только неудобство, что надо будет вручную определять изменился ли статус, на тостере было про это.

Если уж хотите в save_model, то учитывайте что Order изменится в БД только когда транзакция закомитится (а вы уверены что у вас транзакции нет?) Соответственно:

from django.db import connection
connection.on_commit(lambda: send_order_email(obj.pk))

И в send_order_email зачитывайте заказ и БД ...
Если хотите ускорить работу send_order_email в некоторых случаях и иметь возможность передать ему уже загруженный order с prefetch_related например, то сделайте просто:

def send_order_email(order):
   if not isinstance(order, Order):
        order = Order.objects.get(pk=order)

1. Ставьте брейкпойнт в "c:\users\vik\appdata\local\programs\python\python36-32\Lib\multiprocessing\reduction.py", line 51, in dumps и ждите когда там появится TextIOWrapper и увидите суть проблемы
2. Суть проблемы в том, что multiprocessing не может что-то сериализовать для передачи в другой процесс, мне кажется вы сильно сократили ваш принципиальный код и проблема где-то в передаваемых данных между процессами.
3. Удостоверьтесь, что map может принимать в качестве func метод объекта ... в Python2 это не работало, в Python3 не пробовал.

Сделайте простой сайт:
1. Вверху поле ввода комментария
2. Ниже показаны все ранее введенные комментарии с датой и временем создания
3. Сделайте возможность редактирования комментариев на странице (например через https://github.com/django-inplaceedit/django-inpla...

Дальше поднимите ДЕМО-интеренет магазин на https://github.com/awesto/django-shop или oscarcommerce.com
Ну и дальше много всего интересного ...

Я так понимаю вам надо:
1. Показать форму заявки незарегестрированному пользователю
2. Принять заявку через форму у этого пользователя и направить на страницу регистрации
3. После того как пользователь зарегестрировался, создать для него заявку в системе от его имени
Так?

1. Делайте сущность "ПредварительнаяЗаявка" аналогично вашей заявке и сохраняйте её в базу когда пользователь без авторизации её создаёт, зачем redis? Или вообще признак у заявки сделайте "Предварительная" и без привязки к пользователю её создавайте.
2. Далее после создания предварительной заявки, сохраняете идентификатор созданной предварительной заявки в сессию неавторизованного пользователя.
3. Как зарегестрировался пользователь, делаете из его предварительной заявки нормальную, её идентификатор будет в данных сессии пользователя.

Всё просто.

Покажите биржу и покажите какие данные надо собирать.
В Веб-интерфейсе как часто данные обновляются? Можно снимать их, если они обновляются чаще чем API позволяет их забирать.

В своё время намучался с использованием прокси в Python ... SocksiPy наиболее внятное решение, но их несколько версий и уже не помню какую брал, да и то пришлось дорабатывать, если надо пишите, дам свою версию проверенную.

1. Сделайте страницу которая будет делать OrderItem.objects.filter(pk=order_item_id).update(total=33)
2. Переопределите у своего ModelAdmin save_model, примерно так (я не тестировал этот код):

def save_model(self, request, obj, form, change):
    if 'total' in form.changed_data:
        # В OrderItem.save обработайте параметр update_total
        obj.save(update_total=False)
    else:
        obj.save(update_total=True)

Тут проблемы могут возникнуть в зависимости от сложности вашего ModelAdmin, думаю при наличии inline может что-то пойти не так ...
3. Можно сделать надёжно и тупо:

def save_model(self, request, obj, form, change):
    if 'total' in form.changed_data:
        custom_total = obj.total
        super().save_model(request, obj, form, change)
        OrderItem.objects.filter(pk=obj.pk).update(total=custom_total)
    else:
        super().save_model(request, obj, form, change)

Вместо "[12:]" надо "[:12]", вернее даже "[12:12]", если нужна вторая страница, но вообще где параметр номера страницы?