Нужно спарсить данные, открывается файл оттуда считываются urlы, создаётся массив с этими urlами.
Так как урлов много то с помощью модуля multiproccesing, создаю потоки, или как это называется. Проблема вот в чём, всё идёт нормально, пока не подходит конец файла, когда остаётся примерно 30-40 урлов вылетает вот такая ошибка.
И неважно сколько пулов я задаю 20 или 3. И неважно сколько urlов я задаю, 100 или 5000, ошибка всё равно вылетает. В чём может быть проблема?
P.S Дописал везде где возможно try except, всё равно.
Часть исходного кода:
def make_all(url):
get_data(get_html(url), url)
def main():
with open('urls.txt') as file:
temp_urls = file.readlines()
urls = []
for i in temp_urls:
url = i.strip()
urls.append(url)
with Pool(20) as pool:
pool.map(make_all, urls)
