Как в Python ограничить кол-во потоков?

Question

[Hz An]

Имеет цикл, который на данный момент создает новый поток для каждого элемента из массива:

for base in core_bases:
    name_thread = "thread %s " % (item_lst + 1)
    thread = CoreCheck(base, name_thread)
    thread.start()
    time.sleep(0.2)

Каким образом можно реализовать допустим ограничение в 100 потоков, забиваем циклом 100 потоков, и если освобождается допустим 5 поток что бы обработка данных занимала его, и так далее.

Comments

[Roman K]

Зачем тебе 100 потоков? Что за задача такая? Я уверен, тебе хватит не больше 10.

[Hz An]

Roman Kitaev, суть вопроса от этого не меняется, как реализовать 10 потоков? не так жe?

thread1 = CoreCheck(base, name_thread)
thread2 = CoreCheck(base, name_thread)
...
thread10 = CoreCheck(base, name_thread)

thread1.start()
thread2.start()
...
thread10.start()

Задача работа с сайтами, есть больше 1000000 сайтов, функция CoreCheck создает экземпляр потока, переходит по ссылке, ищет на странице нужную комбинацию по регулярке, если находит записывает УРЛ в файл.

[Roman K]

O*nix Anonym, потоки тебе нужны для того, чтобы занять время ожидания ответа. А вообще, давно уже есть aiohttp, потоки вообще не нужны, одного хватит.

Answer 1

[JaxxDexx]

Использовать пул
Вместо пула процессов, можете использовать пул потоков:
from multiprocessing.pool import ThreadPool

Answer 2

[Hz An]

реализовал вот так

def main(lst):
    with Pool(GlobalBase.max_threads) as p:
        p.map(core_check, lst)
    p.close()
    p.join()