Распределение задач потокам Python?

Question

[Акшин Ёлчуев]

Всем привет!
У меня следующая задача:
я подключаю 100 потоков и кидаю общий файл со строками.
мне нужно сделать так что бы потоки не повторяли друг друга и доводили дело до конца,
мое решение:

from threading import Thread as th


def bot():
    global baza

    for i in baza:


        bi = i
        baza.remove(i)

        
        





baza = open('baza.txt','r').read().split()
for i in range(30):
    th(target=bot).start()

при этом коде каждый поток удаляет свое значение из массива , из за этого другие потоки не могут взять его.
Как можно по другому сделать это?
проблема в том что когда я делаю так, то при какой то проблеме я не могу заного начать задачу с этимже значением так как она удалилась

Comments

[Акшин Ёлчуев]

Falconer, я имею в виду чтобы они не повторяли значения друг друга а если сам поток не смог сделать задачу то пусть он не пропускал это значение а попробывал бы еще раз сделать

Answer 1

[Сергей Горностаев]

Всё уже придумали за вас. В стандартной библиотеке есть thread pool, которому можно передать функцию, массив данных и размер куска обрабатываемого одним потоком, а дальше он сам создаст потоки и раздаст им данные.

Comments

[Акшин Ёлчуев]

спасибо большое!

Answer 2

[Дмитрий Шицков]

Используйте Queue вместо массива https://docs.python.org/3/library/queue.html
Тогда потоки смогут гарантировано забирать ещё необработанные задания

Comments

[Акшин Ёлчуев]

можете пожалуйста маленький пример привести , а то по документации ничего не понятно(

[Дмитрий Шицков]

Акшин Ёлчуев, ну много же статаей с примерами
https://python-scripts.com/threading

[Акшин Ёлчуев]

Дмитрий Шицков, и еще вопрос я все прочитал и все пронял в работе есть еще модули requests(3 раза кидаю запрос) запускаю скрипт с 300 потоками все идет норм на втором круге выдает ошибку

Exception in thread Thread-71:
Traceback (most recent call last):
  File "C:\Users\AKSHIN\AppData\Local\Programs\Python\Python38-32\lib\site-packages\requests\packages\urllib3\connection.py", line 141, in _new_conn
    conn = connection.create_connection(
  File "C:\Users\AKSHIN\AppData\Local\Programs\Python\Python38-32\lib\site-packages\requests\packages\urllib3\util\connection.py", line 98, in create_connection
    raise err
  File "C:\Users\AKSHIN\AppData\Local\Programs\Python\Python38-32\lib\site-packages\requests\packages\urllib3\util\connection.py", line 88, in create_connection
    sock.connect(sa)
TimeoutError: [WinError 10060] Попытка установить соединение была безуспешной, т.к. от другого компьютера за требуемое время не получен нужный отклик, или было разорвано уже установленное соединение из-за неверного отклика уже подключенного компьютера

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "C:\Users\AKSHIN\AppData\Local\Programs\Python\Python38-32\lib\site-packages\requests\packages\urllib3\connectionpool.py", line 592, in urlopen
    httplib_response = self._make_request(conn, method, url,
  File "C:\Users\AKSHIN\AppData\Local\Programs\Python\Python38-32\lib\site-packages\requests\packages\urllib3\connectionpool.py", line 352, in _make_request
    self._validate_conn(conn)
  File "C:\Users\AKSHIN\AppData\Local\Programs\Python\Python38-32\lib\site-packages\requests\packages\urllib3\connectionpool.py", line 831, in _validate_conn
    conn.connect()
'bi'

и тд и я останавливаю код.
из за чего эта ошибка?

[Дмитрий Шицков]

Акшин Ёлчуев, предположу, что при такой частоте запросов вы валите удаленный хост, имхо 300 потоков многова-то