@danil27314
Изучаю Python

Процессы при парсинге остаются в фоне и не завершаются, тем самым приводят к крашу хостинга\системы multiprocessing.pool, в чем причина?

Есть парсер сайта, получающий с зарубежного сайта нужную информациию, сам парсер работает корректно, но вводя функцию multiprocessing процессы не завершаются самостоятельно, в чем может быть причина?
Готов ответить на вопросы, что за что отвечает.
def iaai(self):
        try:
            with Pool(40) as p:
                html = Links(self.car, self.from_year)
                links = html.parse_html()
                p.map(self.get_info_car, links)
        except Exception as e:
                exc_type, exc_obj, exc_tb = sys.exc_info()
                fname = os.path.split(exc_tb.tb_frame.f_code.co_filename)[1]
                print("IAAI", exc_type, fname, exc_tb.tb_lineno)


Буду рад любой помощи.
  • Вопрос задан
  • 59 просмотров
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы