Оптимизируется ли код если разделить его на несколько подпроцессов в multiprocessing?

Question

[agent_2203]

Допустим есть 100 одинаковых функций, в каком случае получится более оптимизированный код ?

1) Раздилить 100 функций на 100 процессов
2) Создать 10 процессов, где каждый будет запускать по 10 подпроцессов выполняющие функции

Comments

[Сергей Горностаев]

Зависит от того, что эти функции делают и как.

[agent_2203]

Работают с телетон аккаунтами, с базой mysql, дампит в файл через dill, ну и соответственно так по кругу

[Сергей Горностаев]

agent_2203, Telethon асинхронный, так что скорее всего нет смысла подключать ещё и мультипроцессинг.

[agent_2203]

Сергей Горностаев, ну там не только телетон же

[Сергей Горностаев]

agent_2203, если у вас уже используется асинхронность, то нет смысла тащить в программу другие модели конкурентности, только проблем с этим поимеете.

Answer 1

[RINAMI]

Вообще, если разделить код на 100 процессов, он будет выполнятся быстрее чем 10 процессов с 10 подпроцессами, но если говорить про оптимизацию и внешний вид кода, то 10 процессов с входящими 10 подпроцессами будет смотрется лучше. Внешний вид vs Быстродействие?
P.S вы можете просто разделить все на 2 процесса, или 4. Тогда будет лучше.

Comments

[agent_2203]

Дело в том, что у меня 24 часа в сутки работают процессы и к концу дня память убивается, приходится ребутить, вот я и спрашиваю, не знаете что в этом случае будет лучше ?

[RINAMI]

agent_2203, понял, сколько ядер у вашего процессора, и потоков? Если потоков например 4, то в каждый поток добавьте по 25 функций. Если ядер например, 2, создайте 2 главных процесса в каждый из которых поместите 2 подпроцесса.