Как запустить цикл в 10 потоков?

Question

[Андрей Романов]

Доброго времени суток. У меня есть цикл for in, мне необходимо запустить его одновременно в 10 потоков. Подскажите пожалуйста, как это сделать в Python ? Спасибо.

Comments

[Сергей Горностаев]

Зависит от того, что этот цикл итерирует, какая работа выполняется в теле и что именно имеется ввиду под запуском в 10 потоков.

[pfg21]

сначала продумать условия разделения задачи на десять параллельных потоков (обычно это самое сложное) а потом нарисовать код их выполняющий (если разделение сделано качественно, то код получается просто и быстро) :)

[Андрей Романов]

Сергей Горностаев, он отправляет запросы API на платформу, необходимо это сделать быстро

[Влад Григорьев]

Андрей Романов, для такого можно использовать asyncio.gather

[Сергей Горностаев]

Андрей Романов, вероятно, надо разбить итерируемую коллекцию на десять равных частей и отправить каждую часть на выполнение в пул потоков нужного размера. Хотя, я бы лучше использовал асинхронность вместо потоков.

[Андрей Романов]

Сергей Горностаев, можно пожалуйста пример с асинхронностью используя цикл ?

[maksam07]

Андрей Романов, https://stackoverflow.com/questions/56161595/how-t...

[d'Ivan]

Андрей Романов,
почитай документацию что ли:
https://docs.python.org/3.8/library/asyncio.html

Answer 1

[Валерий Мамонтов]

Доброго)
Посмотрите этот код, вдруг он Вам поможет.

import threading
#pip install requests
import requests


def get_status(url, results):
    results[url] = requests.get(url).status_code


sites = ['https://www.google.com/', 'https://www.youtube.com/',
         'https://pastebin.com/', 'https://ru.wikipedia.org/',
         'https://yandex.ru/', 'https://www.pornhub.com/',
         'https://vk.com/', 'https://www.reddit.com/',
         'https://qna.habr.com/', 'https://stackoverflow.com/']*5


results = {}
workers = [threading.Thread(target=get_status(sites[f], results)) for f in range(10)]

for worker in workers:
    worker.start()

for worker in workers:
    worker.join()

for k, v in results.items():
    print(k, v)

Answer 2

[Денис]

Лучше изучить ThreadPoolExecutor и ProcessPoolExecutor