Как запустить python html парсер в несколько потоков?

Question

[Mark Adams]

Есть данные ( >1кк строк), по каждой строке идет запрос urllib.request.urlopen(). Я разбил базу на 30 частей. Теперь надо одновременно запустить 30 одинаковых скриптов для каждой части. Как это реализовать?
Пробовал в терминале запускать 2 скрипта сразу, через "python_script_1&python_script_2", все работает отлично, но как быть если 30 скриптов? Тут самое проблемное, это организация директорий (я конечно прописал в каждом скрипте os.path.abspath(os.curdir)).
Прошу помочь практическими советами, читать про многопоточность нет времени.

Answer 1

[asd111]

Самая простая многопоточность:

import urllib2 
from multiprocessing.dummy import Pool as ThreadPool 

urls = [
  'http://www.python.org', 
  'http://www.python.org/about/',
  'http://www.onlamp.com/pub/a/python/2003/04/17/metaclasses.html',
  'http://www.python.org/doc/'  
  ]

# Make the Pool of workers
pool = ThreadPool(4) 

# Open the urls in their own threads
# and return the results
results = pool.map(urllib2.urlopen, urls)

#close the pool and wait for the work to finish 
pool.close() 
pool.join()

Comments

[Алексей Черемисин]

Добавлю - вместо urllib пользуйте requests - docs.python-requests.org/en/latest

[Mark Adams]

А как быть с директориями? Куда данные записывать, есть идеи?

[asd111]

Илья Кметь: можно сделать примерно так:

import urllib2 
from multiprocessing.dummy import Pool as ThreadPool 

urls = [
  ['http://www.python.org', "название нужной директории1"],
  ['http://www.python.org/about/', "название нужной директории2"],
  ['http://www.onlamp.com/pub/a/python/2003/04/17/metaclasses.html', ,"название нужной директории3"],
  ['http://www.python.org/doc/', "название нужной директории4"]
  ]

# Make the Pool of workers
pool = ThreadPool(4) 

def my_func(input):
    get_http(input[0])
    save_todir(input[1]) 

# Open the urls in their own threads
# and return the results
results = pool.map(my_func, urls)

#close the pool and wait for the work to finish 
pool.close() 
pool.join()

[Mark Adams]

Я верно понимаюб, что если закину в urls 35к ссылок, то они обработаются в один момент?

[asd111]

Илья Кметь: зависит от мощности компьютера и от ширины ThreadPool. В данном коде только 4 процесса, а для 35к нужно больше. Это пример.

[nirvimel]

asd111: Вы, наверное, имели в виду, что в данном коде только 1 процесс с 4 потоками.
Алексей Черемисин: А еще существует https://github.com/kennethreitz/grequests , это такой requests под gevent.

[Алексей Черемисин]

nirvimel: О! Спасибо, буду знать, если gevent пользовать буду.
Илья Кметь Данные пишите в базу. например в mongo или redis или что там у вас. они же для этого и предназначены. Я вот с elasticsearch разбираюсь, если поиск по выборкам делать - самое оно!

[Mark Adams]

asd111: А как распределяются ссылки между потоками? Как определить одному потоку конкретную часть ссылок?

[asd111]

Илья Кметь: распределение происходит равномерно до тех пор пока есть ссылки. Допустим у вас 20 потоков(в данном случае процессы) - ссылки будут распределяться на каждый поток пока не закончатся.
Чтобы распределять каждому потоку определенную часть ссылок понадобится писать настоящие потоки. Это не так уж сложно. Пишете класс потока, в нем делает функцию run, потом запускаете поток и передаете при запуске нужную частью массива.
Например:
myThread(ulrs[:100])
www.tutorialspoint.com/python/python_multithreading.htm

Answer 2

[Dimonchik]

освой MultiCurl , там довольно легко перестроить имена сохранямых файлов

скачиваешь, потом по директории прходишь и разбираешь, можно без всяких мультипроцессоров даже, основная трата времени - получение с удаленного сервера

Answer 3

[sim3x]

cat list | parallel -j 30 ./script.py {}