Задать вопрос
Ответы пользователя по тегу Python
  • Python multiprocessing, Manager и Big Data

    Antigluk
    @Antigluk
    По поводу безопасности Manager'ов не могу сказать.
    Но могу посоветовать использовать какую-то очередь и ряд worker'ов которые выполняют задания этой очереди. Как вариант - rabbitmq/pika для пайтона. Для кеша использовать отдельно in-memory сервис, типа redis.

    То есть архитектура Web -> Queue -> Worker -> Data
    Worker-ы общаются с кешом
    Таким образом горизонтально расширяя кол-во воркеров и редис-реплик мы можем увеличивать производительность линейно
    Ответ написан
    Комментировать