Python: залипают потоки с HTTP запросами

Curl multi + Threading
Всего 10 соединений. Успешно удалось осуществить сначала 70 000 запросов, потом 300 000. В определенный момент все останавливается без сообщений об ошибках. Таймауты на соединения установлены. Экземпляр процесса в диспетчере задач Windows имеется, а вот скрипт просто замирает без каких-либо признаков проблемы. Что почитать?
  • Вопрос задан
  • 2809 просмотров
Пригласить эксперта
Ответы на вопрос 2
AlexeyK
@AlexeyK
может быть все что угодно, от провисания канала, до жора памяти и бана вашего айпи… надо смотреть, отлаживать
вообще удобнее такие вещи делать через эту библиотеку: code.google.com/p/workerpool/
Ответ написан
Комментировать
printf
@printf
Ем детей.
Сталкивался с такой же проблемой, решил тривиально, выставлением таймаута на безусловное прибивание треда. В первопричинах детально не копался, иногда у него, похоже, просто отваливается сокет, а библиотека хочет из него что-то прочитать.
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы