Задать вопрос
Ответы пользователя по тегу Python
  • Что работает быстрее 10 потоков в 10 процессах или отдельные 100 потоков?

    vpuhoff
    @vpuhoff
    Программист в свободное от работы время
    Все зависит от того как долго будет подниматься контекст потока\процесса и как долго каждый будет ждать выполнения задачи. Грубо говоря если каждый поток делает запрос к сайту и ответ получает за 20мс то профита от процессов не будет, если же каждый будет загружать данные секунд 10 и после их обрабатывать то профит может быть значительным.
    Если по задаче не ясно будет ли профит можно воспользоваться
    https://joblib.readthedocs.io/en/latest/generated/...
    и попробовать в каждом из режимов (в этой библиотеке режим меняется простым изменением настройки)
    Так же стоит посмотреть в сторону celery, возможно это даст больший контроль над процессом.
    Ответ написан
    Комментировать