Как ограничить общее кол-во выполнений multiprocessing скрипта?

Question

[Ivan Yakushenko]

Скрипт запускается так:

with Pool(processes=2) as pool:
    for proxy in PROXY_HOST:
        pool.apply_async(registration, (proxy, groups))
    pool.close()
    pool.join()

В таком виде он работает столько, сколько прокси в списке.
Мне нужно ограничить кол-во выполнений.
1. Передача статуса в базу данных (или любой другой файл) не вариант, т.к. в любом случае поток будет запускаться - проверяться значение в базе и только потом выполняться/закрываться.
2. Убрать из списка прокси ненужное кол-во тоже не подходит, т.к. могут быть заблокированные прокси. Т.е., к примеру мне нужно провести 5 регистраций, я добавляю 5 прокси, но 2 из них заблокированных, соответственно получу только 3 регистрации.

Answer 1

[Сергей Горностаев]

Можно использовать Semaphore для контроля количества выполнений.

И, кстати, не надо закрывать pool, когда используете with.

Comments

[Ivan Yakushenko]

Это же по сути такое-же решение, как использовать БД для хранения статуса, или я не на то смотрю?

[Ivan Yakushenko]

Кстати, без pool.close() и pool.join() потоки просто не запускаются.

[Ivan Yakushenko]

Да, я не туда смотрел, но без pool.close() и pool.join() все равно не запускается.

Answer 2

[alternativshik]

проверяй результат через pool.apply_async(registration, (proxy, groups)).get()
если успешных рег >= нужному количеству - break

Comments

[Ivan Yakushenko]

get() блокирует поток. Пока вызванный поток не отработает новый не запустится.