Как правильно и просто реализовать многопоточность в Python?

Question

[Andrey]

Нужно параллельно запускать 100+ потоков.

Пример:

file = open('file.txt')
lines = file.readlines()
def just():
	for line in lines:
		sleep(1)
		print(line)

Пробовал так, но каждый поток начинает цикл заного:

for i in range(0, 100):
    t = threading.Thread(target=just)
    t.start()

Comments

[Сергей Горностаев]

но каждый поток начинает цикл заного

А вам что нужно? Чтобы каждый поток обрабатывал свой кусок списка lines?

И почему надо запускать 100+ потоков, а range у вас от 0 до 10?

[Andrey]

Сергей Горностаев, Да. Range исправил

Answer 1

[Сергей Горностаев]

def just(lines):
  for line in lines:
    sleep(1)
    print(line)


file = open('file.txt')
lines = file.readlines()
step = len(lines) // 100

threads = []
for i in range(0, len(lines), step):
    t = threading.Thread(target=just, args=(lines[i:i+step],))
    t.start()
    threads.append(t)

for t in threads:
    t.join()

Comments

[Andrey]

Потоки ставить в step = len(lines) // 100 ?

[Сергей Горностаев]

Andrey, вам бы подучить основы языка, прежде чем браться за многопоточность... Конструкция step = len(lines) // 100 сохраняет в переменной step размер сотой доли списка lines. После чего в цикле происходит разбивка списка на куски этого размера

for i in range(0, len(lines), step):
    lines[i:i+step]

и передача этих кусков ста функциям just запущенным в разных потоках.

[Andrey]

Спасибо, все работает, но примерно на 18000й строке все начало замедлятся, какая может быть причина?

[Сергей Горностаев]

Andrey, что именно начало замедлятся? У вас там слип с принтом.

[Andrey]

Сергей Горностаев, замедляется print. что это значит?

[Сергей Горностаев]

Andrey, сотня потоков отбирает друг у друга единственную консоль. Да и вообще, управление сотней потоков обычно сжирает ресурсов больше, чем даёт выигрышь от их использования.

Answer 2

[Dvvarreyn]

В питоне используется Global Interpreter Lock, и поэтому там нет эффективной параллельной многопоточности.
Питонячую многопоточность можно использовать только для организации всяких контролирующих потоков.
Для распараллеливания нужно использовать multiprocessing.

Чтение из файла не распараллеливается (по крайне мере, на одной машине, а на разных не будет потоков), так как файл не является данным со случайным доступом.
Раскидывание чтения между потоками приводит в питоне к квадратичному алгоритму, вместо линейного. Отсюда и замедление.

Я бы порекомендовал выбрать более разумную задачу для распараллеливания. И дальше начать с разбора примера

import multiprocessing 

def proc(a):
  <…>
  return something

pool = multiprocessing.Pool(3) # ну может 4. 

result = pool.map(proc, list(range(100)))