Как создать многопоточное приложение в Python?

Question

[Илья]

Не могу разобраться как это сделать в питоне.
Есть функция которая обрабатывает список.
Для увеличения скорости обработки хочу раскидать экземпляры этой функции по потокам. Но не выходит.

def thr():
    for i in range(5):
        thred.append(Process(target=start()))
        thred[i].start()
    for i in thred:
        i.join()

Создается первый поток который и обрабатывает весь список.
Как правильно работать с потоками?

Comments

[Andrey Dugin]

Что именно делает функция, обрабатывающая список? Это операции I/O (например, скачивание веб-страницы), математические операции, ещё что-то? В зависимости от этого и следует выбирать инструмент реализации.

[Илья]

Андрей Дугин, берет из списка id, по нему делает запрос по апи к серверу заббикса, перемещает запись в конец списка.

[Andrey Dugin]

Илья, вот пример, как подобное сделать с asyncio: При как обстоятельствах закрывается поток в Python?

[Илья]

Andrey Dugin, а если нужно увеличить скорость обработки данных? Как быть?

[Andrey Dugin]

Илья, асинхронный Nginx работает несравнимо быстрее многопоточного Apache. Увеличение числа потоков не даёт гарантии производительности, особенно в Python с его GIL - это будет псевдо-параллельное исполнение. Вы профилировали код, делали тесты? Не исключено, что в обработке списка у Вас используется медленный и неоптимальный код, который снижает производительность раз в 10. Все "ускорения" надо делать после профилировки. А по поводу асинхронности - просто попробуйте и оцените результат.