Python мультипроцесорный парсер зависает?

Question

[beginer123]

Задача:спарсить сайт каждый запрос делать с разных ip,чтобы ускорить все это использую многопроцессорность
По шакагам
создаю пул
pool = Pool(processes=5)
Создаю массик url-ов
urls = [....]
Применяю к функции парсинга
results = pool.map(parse_func, urls )
Однако он парсит где то треть урлов, потом просто задумывается и все
Т.е мой скрипт не завершается с кодом 1 или 0
В чем может быть причина?

Comments

[DuD]

Запилите логгирование адреса по которому идет поток. Затем проверьте когда зависнет. Как вариант хост просто не отвечает или отвечает долго.

[beginer123]

я итак логирую,у меня стоит print(url) но все равно не понятно, из за чего зависает, еще у меня стоит перехват исключений, и в случае долгого таймаута и прочих ошибок он выводит на принт, и пробует зайти еще раз с нового ip

[beginer123]

Попробовал запустить парсинг одной и той же страницы столько же количетсво раз, так же парсит где то треть и зависает, в ходе выполнение парсинга выскакивает много исключений(связанные с прокси) которые я перехватываю и перезвапускаю с новым ip