Что лучше использовать: Eventlet или Gevent или Concurrence?

Question

[skomoroh]

Есть задача собирать кучу данных с сети и анализировать.

Что лучше использовать: Eventlet или Gevent или Concurrence?
И что под них лучше для сети: requests, urllib, pycurl?
И какая под них очередь лучше: RabbitMQ(kombu?), Redis?
И почему?
И как себя lxml, nltk, numpy в greenlet'ах ведут?

Заранее спасибо.

Answer 1

[zxmd]

Эммм. В Вашем случае наверное лучше будет celery на RabbitMQ + pycurl.
Собственно встречный вопрос - на кой вам гринлеты?

Comments

[skomoroh]

хм ... а celery то тут на кой?
задача - собирать кучу данных с сети, вобщем нужно запустить в 100 000 потоков краулера, если утрировать задачу

[zxmd]

ААА. Я просто подумал что надо постоянно собирать с некой периодичностью.

Answer 2

[_ _]

В Redis нет полноценной очереди из коробки, есть pub-sub.
Распределения событий очереди по обработчикам нет, подтверждения выполнения задания обработчиком нет.

Answer 3

[anatoly87]

https://medium.com/p/40e9b2b36148