Как сделать многопоточные запросы используя Thread Pooling?

Question

[Mr.Robot]

Есть пример кода:

POOL_SIZE = 10

jobs = Queue.new

10_0000.times{|i| jobs.push i}

workers = (POOL_SIZE).times.map do
  Thread.new do
    begin      
      while x = jobs.pop(true)
        puts "job"
      end
    rescue ThreadError
    end
  end
end
workers.map(&:join)

Пытаюсь написать, что-то наподобие, только для запросов

POOL_SIZE = 10

jobs = Queue.new

tasks = ['www.example.com', 'www.example.com', 'www.example.com'].each{ |url| jobs.push(url)}

workers = (POOL_SIZE).times.map do
  Thread.new do
    begin      
      response = tasks.each{|uri| HTTParty.get(uri)}
      p response
    rescue ThreadError
    end
  end
end

workers.map(&:join)

Answer 1

[d'Ivan]

В главном потоке добавляются задачи в очередь, а в потоках воркеров они должны потребляться из неё.

вместо
response = tasks.each{|uri| HTTParty.get(uri)}
должно быть что-то типа

while url = jobs.pop(true)
  response = HTTParty.get(url)
  # обработка response
end

Дополнительные примеры:
https://gist.github.com/romiras/70cd02ff186ad64f57...
https://gist.github.com/romiras/3a4705dc61260a46f7...

Comments

[Mr.Robot]

Не работает, чет)

[d'Ivan]

Mr.Robot, попробуй вот так:

require 'net/http'
POOL_SIZE = 2

jobs = Queue.new
[
	'http://www.example.com/?a=1',
	'http://www.example.com/?a=2',
	'http://www.example.com/?a=3',
	'http://www.example.com/?a=4',
	'http://www.example.com/?a=5',
].each{ |url| jobs.push(url)}
jobs.push nil # признак окончания

def run_sync(jobs)
	while !jobs.empty? && (url = jobs.pop(true))
		p url
		response = Net::HTTP.get_response(URI(url))  # response = HTTParty.get(url)
	  # обработка response
	  p response.code
	end
end

def run_async(jobs)
	workers = POOL_SIZE.times.map do
	  Thread.new do
	  	while !jobs.empty? && (url = jobs.pop(true))
	  		p url
	  		response = Net::HTTP.get_response(URI(url))  # response = HTTParty.get(url)
			  # обработка response
			  p response.code
			end
	  end
	end
	workers.map(&:join)
end

#run_sync(jobs)
run_async(jobs)

[d'Ivan]

Mr.Robot,
Работает?

[Mr.Robot]

Román Mirilaczvili, Огонь!!! Огромное спасибо Вам!!!

[Mr.Robot]

Román Mirilaczvili, Голова вы Романыч))))