Как нагрузить процессом только конкретные ядры процессора?

Question

[Михаил]

есть скрипт который порождает процессы по количеству ядер -1, 1 ядро оставляем на систему, эти процессы в свою очередь поражда.ют еще по 1 процесссу вот как сделать атк чтоб процессы обрабатывались теми же ядрами что и родители? все процеммы пораждаемые главым классом учень ресурсоемкие и как бы сохранить при этом при всем работоспособность системы хотя бы на 1 ядре.

__author__ = 'nextel'
import os
import multiprocessing
import time

def ochen_mnogo_resursov():
    print('ALARM')
    multiprocessing.Process(target=ochen_mnogo_resursov2).start()

def processs():
    
   pcu=  os.cpu_count()
   wait = True
   count = 0
   while wait:
        while count <pcu:
            multiprocessing.Process(target=ochen_mnogo_resursov).start()
            count=count+1        

if __name__ == '__main__':
      p = multiprocessing.Process(target=processs)
      p.start()
      p.join()

Comments

[Владимир Мартьянов]

Боюсь, задача не для юзермода...

[Михаил]

vilgeforce: то есть операционка не даст рулить?

[Владимир Мартьянов]

Михаил: Боюсь да. Посмотрите на MSDN что про это есть, но не думаю что юзермодными средствами достижимо.

Answer 1

[Станислав Макаров]

vilgeforce rdvlip Все есть в юзермоде:
https://en.wikipedia.org/wiki/Processor_affinity
https://msdn.microsoft.com/en-us/library/windows/d...

Так что дело за малым - прокинуть вызов из питона в винапи)) (если речь про винду).
Кстати, эта функция даже в Диспетчере задач есть.

Comments

[Владимир Мартьянов]

О как!

[Михаил]

ДАААААААААААА, это именно та фигня что мне нужна))) https://pypi.python.org/pypi/affinity/0.1.0 https://docs.python.org/3.4/library/os.html?highli...

[Станислав Макаров]

Михаил о, ну вот видите, все уже давно пробросили, еще 9 лет назад :D
Как всегда, главное знать - как называется

Answer 2

[Влад Животнев]

Если linux - то через cgroups запускать процесс.
https://docs.oracle.com/cd/E37670_01/E37355/html/o...

Comments

[Михаил]

отличный варинат)

Answer 3

[wutiarn]

Питоновскими родными средствами, емнип, этого не сделать. Нужно что-то придумывать на уровне ОС, относительно виртуальной машины python. А вот что касается вашего кода выше - руки оторвать. Говорите, хотите ядро сохранить для работы системы, а сами на месте его и выжираете бесконечным циклом без пауз.

Так что советую влепить в цикл time.sleep хотя бы на 1ms. Помнится, где-то читал про механизм, позволяющий просто отдать поток ОС (без указания задержки), до тех пор пока она не решит снова передать управление в этот поток. Но не нашел. Вероятно, это фишка из java.

А вообще попробуйте сделать, как делают все нормальные люди. Пул процессов размером на 1 меньше кол-ва ядер, а там используйте потоки. Это не гарантирует, что у вас один процесс будет работать постоянно на одном и том же ядре, но гарантирует, что параллельно не будет задействовано более n-1 ядер. В данном случае наличие потоков нас не волнует, так как есть gil, который не даст потокам одного процесса работать параллельно.

Comments

[wutiarn]

Рядом подсказывают, что на уровне ОС не сделать. Ожидаемо. Ну пилите пул процессов

[Михаил]

этот пример я накидал наскоряк) для илюстрации вопроса, так как изначалльно вопрос был без примера))
в боевом примере все куда сложней и я просто не смог вычленить нужную логику для показа их него там вс с очередями пулами и прочтим весельем)) спасибо, но потомки котрых пораждают родители(по 1 чилду на родителя тож надо выполнять в отдельных процессах то есть вариант 8 ядер 7 процессов (1 поток родитель и 1 чилд) не подходит а вот 8 ядер 3 родителя и три чилда вот это оно)

[wutiarn]

Понятно. Просто зачастую вопросы на тостере заданы теоретически, когда ничего реального еще не написано. Поэтому и написал про sleep. Ну удачи вам.

[Михаил]

нашлось) ветка станислава макарова) прочитайте) выше)

[wutiarn]

Поздравляю. Однозначно в копилку