Задать вопрос
nobodynoone
@nobodynoone

Какие вы можете порекомендовать библиотеки Python для многопоточности?

Хочу начать сразу с цели - мне нужно быстро парсить какие либо данные с веб страниц, обычно это HEAD запросы, GET с получением не полного ответа (например, первые 128 байт ответа), а так же банальные вещи.

Ранее я использовал для этого напрямую питоновские модули Threading и Queue, и, меня они полностью устраивали, так как нужна была более-менее стабильная работа на 10-20 потоках. Сейчас же мне требуется увеличить это число в 20-30 раз.

Какие библиотеки вы можете посоветовать или подскажите, в какую сторону стоит копать.

Спасибо.
  • Вопрос задан
  • 2567 просмотров
Подписаться 2 Оценить Комментировать
Помогут разобраться в теме Все курсы
  • Яндекс Практикум
    Python-разработчик
    10 месяцев
    Далее
  • Skillfactory
    Профессия Python-разработчик
    9 месяцев
    Далее
  • Хекслет
    Python-разработчик
    10 месяцев
    Далее
Пригласить эксперта
Ответы на вопрос 2
@thenno
Проектирую, разрабатываю, преподаю.
В Python 3 есть из коробки годный asyncore и asyncio для всякой асинхронщины. Можно копать в эту сторону.
Ответ написан
Комментировать
@lPolar
data scientist
Grab и его Spyder - ориентированы на парсинг, там отлично реализована многопоточность, плюс есть доки на русском.
Пост на хабре от автора модуля - habrahabr.ru/post/134918
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы