Задать вопрос
@danil27314
Изучаю Python

Процессы при парсинге остаются в фоне и не завершаются, тем самым приводят к крашу хостинга\системы multiprocessing.pool, в чем причина?

Есть парсер сайта, получающий с зарубежного сайта нужную информациию, сам парсер работает корректно, но вводя функцию multiprocessing процессы не завершаются самостоятельно, в чем может быть причина?
Готов ответить на вопросы, что за что отвечает.
def iaai(self):
        try:
            with Pool(40) as p:
                html = Links(self.car, self.from_year)
                links = html.parse_html()
                p.map(self.get_info_car, links)
        except Exception as e:
                exc_type, exc_obj, exc_tb = sys.exc_info()
                fname = os.path.split(exc_tb.tb_frame.f_code.co_filename)[1]
                print("IAAI", exc_type, fname, exc_tb.tb_lineno)


Буду рад любой помощи.
  • Вопрос задан
  • 63 просмотра
Подписаться 1 Средний Комментировать
Помогут разобраться в теме Все курсы
  • Нетология
    Fullstack-разработчик на Python + нейросети
    20 месяцев
    Далее
  • Skillfactory
    Профессия Python-разработчик
    9 месяцев
    Далее
  • SF Education
    Бэкенд-разработчик на Python
    3 месяца
    Далее
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы