Python многопоточный парсер пример?

Question

[beginer123]

Здравствуйте, есть задача открыть 100 000 урлов как можно быстрее, используюя при этом разные ip адреса
урлы храняться в массиве
urls = ['url1', 'url2',.....]
можно самые простой пример как это можно сделать параллельно выполняя запросы через разные ip и ставя паузу между запросами с одного ip

Comments

[Xander017]

Если не секрет, но хоть примерно для чего нужно открытие 100.000 урл как можно быстрее и с разных ip? Спрашиваю лишь для того, что бы оценить возможности и сферы применения языка.

Answer 1

[developinwed]

Можно в треды пустить

from threading import Thread
import httplib, sys
from queue import Queue

urls = ['url1', 'url2',.....]
concurrent = 200

def doWork():
    while True:
        url = q.get()
        status, url = getStatus(url)
        doSomethingWithResult(status, url)
        q.task_done()

def getStatus(url):
    try:
        proxyRand = getRandProxy()
        conn = httplib.HTTPConnection(proxyRand["ip"], proxyRand["port"])
        conn.request("GET", url, headers={})
        res = conn.getresponse()
        return res.status, url
    except Exception as e:
        return e, url

def getRandProxy():
	return {
		"ip" : "127.0.0.1",
		"port" : 80
	}

def doSomethingWithResult(status, url):
    print(status, url)

q = Queue(concurrent * 2)
for i in range(concurrent):
    t = Thread(target=doWork)
    t.daemon = True
    t.start()
try:
    for url in urls:
        q.put(url.strip())
    q.join()
except KeyboardInterrupt:
    sys.exit(1)

Comments

[Александр Шадчин]

А почему очередь из multiprocessing используете, вы ведь с тредами работаете, а не с процессами? Почему не из queue?

[developinwed]

Спасибо, поправил. Не нашел его в загруженных модулях. Он переименовался с Queue в queue

[beginer123]

У вас создаетсямассив urls = []
Но у меня все урлы это строка+"pagge=номер страницы"
Разве логично хранить весь урл?

[developinwed]

beginer123: Вы же сами в вопросе написали, что все урлы в списке. Вот цитата:
>урлы храняться в массиве
>urls = ['url1', 'url2',.....]

Как вы их будете извлекать или генерировать это уже по вашему усмотрению

[beginer123]

developinwed: ok. А если не храняться?что если все они отличаются лишь значением параметра page?

[developinwed]

Сформируйте тот же список urls в цикле меня параметр page или добавляйте в очередь меняя этот параметр

[beginer123]

developinwed: ок но у меня очень много урлов, разве это рационально созьавать огромный массив?как избежать этого?

[developinwed]

beginer123: Вам же написали: "или добавляйте в очередь меняя этот параметр". Если один урл, то в цикле(for до какой то страници, while счетчик с break). Например:
def getUrl(param):
#Ваш алгоритм формирования урл в зависимости от param
return url

i=0
while True:
url = getUrl(i)
if not url:
break
else:
q.put(url.strip())
i = i + 1

Это никак не касается вопроса о многопоточном парсере. Хоть из базы берите эти урлы.