Проблема с модулем muliproccesing?

Нужно спарсить данные, открывается файл оттуда считываются urlы, создаётся массив с этими urlами.
Так как урлов много то с помощью модуля multiproccesing, создаю потоки, или как это называется. Проблема вот в чём, всё идёт нормально, пока не подходит конец файла, когда остаётся примерно 30-40 урлов вылетает вот такая ошибка.5d31b57c8c81e304031629.jpeg
И неважно сколько пулов я задаю 20 или 3. И неважно сколько urlов я задаю, 100 или 5000, ошибка всё равно вылетает. В чём может быть проблема?
P.S Дописал везде где возможно try except, всё равно.
Часть исходного кода:
def make_all(url):
	get_data(get_html(url), url)


def main():
  	with open('urls.txt') as file:
  		temp_urls = file.readlines()
  		urls = []
  		for i in temp_urls:
  			url = i.strip()
  			urls.append(url)

  		with Pool(20) as pool:
  			pool.map(make_all, urls)
  • Вопрос задан
  • 59 просмотров
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы