nobodynoone
@nobodynoone

Какие вы можете порекомендовать библиотеки Python для многопоточности?

Хочу начать сразу с цели - мне нужно быстро парсить какие либо данные с веб страниц, обычно это HEAD запросы, GET с получением не полного ответа (например, первые 128 байт ответа), а так же банальные вещи.

Ранее я использовал для этого напрямую питоновские модули Threading и Queue, и, меня они полностью устраивали, так как нужна была более-менее стабильная работа на 10-20 потоках. Сейчас же мне требуется увеличить это число в 20-30 раз.

Какие библиотеки вы можете посоветовать или подскажите, в какую сторону стоит копать.

Спасибо.
  • Вопрос задан
  • 2566 просмотров
Пригласить эксперта
Ответы на вопрос 2
@thenno
Проектирую, разрабатываю, преподаю.
В Python 3 есть из коробки годный asyncore и asyncio для всякой асинхронщины. Можно копать в эту сторону.
Ответ написан
Комментировать
@lPolar
data scientist
Grab и его Spyder - ориентированы на парсинг, там отлично реализована многопоточность, плюс есть доки на русском.
Пост на хабре от автора модуля - habrahabr.ru/post/134918
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы