Как сделать многопоточный парсер URL-ов на Python?

Question

[semolex]

Всем привет!
Хотел бы спросить у вас как сделать мультипоточный парсер урл-ресурсов с помощью пайтон?
Есть вот такой код:

import urllib2
import threading

class JsonRequester(object):
    resource = None
    def __init__(self, *args):
        self.resource = args
    def get_json_req(self):
        for url in self.resource:
            req = urllib2.urlopen(url)

Как сделать отдельный поток для каждого из аргументов, которые передаются в инициализаторе?
Спасибо!

Answer 1

[alex stephen]

habrahabr.ru/post/149420 вот в этой статье потоки довольно подробно описаны

Answer 2

[Андрей Безпалов]

Например: toly.github.io/blog/2014/02/13/parallelism-in-one-line

Answer 3

[Алексей Черемисин]

А вот на любимом twisted - technicae.cogitat.io/2008/06/async-batching-with-t...
И да, ни одного треда не пострадало, всё в один поток!