Что работает быстрее 10 потоков в 10 процессах или отдельные 100 потоков?

Question

[AlexBoss]

Добрый день. Тестируют многопоточность и мультипроцессинг. Возник вопрос: что работает быстрее 10 потоков в 10 процессах или отдельные 100 потоков? По поводу потребления ресурсов, 10 процессов затратнее, понимаю. А вот что по поводу скорости?

Comments

[Сергей Горностаев]

Зависит от того, что эти потоки делают.

[illuzor]

Возможно даже один поток будет быстрей. Всё зависит от тяжести задач.

[AlexBoss]

illuzor, Сергей Горностаев, допустим, просто делает запросы к какому-нибудь сайту. Как может быть один поток быстрее при 100 задачах, расскажи)

[Сергей Горностаев]

AlexBoss, asyncio.

[illuzor]

AlexBoss, создание потоков и управление ими - очень недешёвое удовольствие. Оттуда и быстрей.

[Anton Kuzmichev]

Если речь о парсинге сайта, то в плане скорости пофиг (нюансы процессов в общем и потоков в Python в частности нивелируются сетевым взаимодействием), но в плане ресурсов гораздо дешевле обойтись одним потоком, посмотрите в сторону asyncio.

[amimotogo]

AlexBoss,

допустим, просто делает запросы к какому-нибудь сайту

Тогда у вас будут дичайшие задержки по сети, которые происходят где-то там, за пределами контролируемого вами сервера, на котором вы запустили потоки/процессы.

Как может быть один поток быстрее при 100 задачах, расскажи)

Потери идут на переключение контекста. Потери на общие ресурсы (шина доступа к памяти, к примеру, получается общей)

[Михаил]

AlexBoss,

Как может быть один поток быстрее при 100 задачах, расскажи)

Легко и непринуждённо. Потоки - это вообще сомнительная вещь, надо их избегать в своём коде

[Developer]

Anton Kuzmichev, а как внутри устроен asyncio? Разве рам не создаются отдельные потоки для распараллеливания?

[Андрей Скоржинский]

А все зависит от железа: если один процессор, то поток будет всегда выполнятся один в один квант времени, а если у вас сто процессоров, то при хорошем раскладе 100 потоков в один квант времени.

Answer 1

[asd111]

Между потоками и процессам маленькая разница на уровне ОС.
У процессов изолированная память, а потоки разделяют общую память внутри процесса.
И это по сути вся разница.
В плане производительности большая разница между потоками(процессами) и корутинами. Можно запустить 100_000 корутин и все будет работать, а 100_000 потоков скорее всего упадут с Out of memory.

Answer 2

[Ai Lab]

Все зависит от того как долго будет подниматься контекст потока\процесса и как долго каждый будет ждать выполнения задачи. Грубо говоря если каждый поток делает запрос к сайту и ответ получает за 20мс то профита от процессов не будет, если же каждый будет загружать данные секунд 10 и после их обрабатывать то профит может быть значительным.
Если по задаче не ясно будет ли профит можно воспользоваться
https://joblib.readthedocs.io/en/latest/generated/...
и попробовать в каждом из режимов (в этой библиотеке режим меняется простым изменением настройки)
Так же стоит посмотреть в сторону celery, возможно это даст больший контроль над процессом.