Отличается ли мультипроцессинг от запуска нескольких программ?

Question

[MaxBat]

Есть функция, которую мне нужно запустить отдельно друг от друга 20 раз. Чем будет отличатся решение, когда я 20 раз запущу один и тот же скрипт от решения, когда я запущу функцию из одного скрипта 20 раз каждый раз в новом процессе?

python

Comments

[Everything_is_bad]

спрашивать про мультипроцессинг, но лепить тег многопоточность, начни с понимания разницы

Answer 1

[Vindicar]

Простотой коммуникации между скриптами, в т.ч. распределения задач между ними.

Во-втором случае у тебя есть готовое решение по распределению задач и сборке результатов. Но с ограничениями - например, под капотом используется pickle, так что передавать можно только ограниченный набор объектов.

В первом случае всё придётся писать самому, что и плюс, и минус.

Answer 2

[Ярослав]

А запуск просто 20 раз даст то, что вам нужно? Не требуется никакая коммуникация между процессами?
Тогда однозначно запускайте просто 20 копий программы, можно через parallel (стандартная утилита, есть наверное, везде) или просто своим шелл-скриптом. Будет быстрее и надежнее.

В пайтоне есть GIL и это сильно влияет на производительность в многопоточном режиме. Да и вообще, зачем усложнять? Один изолированный процесс, который делает какую-то простую функцию - это богоугодно. А если вы делаете монстра, который внутри себя запускает потоки/процессы то только в идеале вы приблизитесь к рекомендуемому варианту. А не в идеале - будете иметь проблемы с производительностью или какие-то сложноуловимые глюки и race conditions.

Многопоточность оправдана только если без нее никак, например, нужна коммуникация между процессами, работа с общими данными.

С другой стороны, если производительность вам не важна, а хочется "набить руку", потренироваться - в пайтоне это достаточно просто делается, почему бы и нет? Но это не самый оптимальный результат по скорости будет.