Парсер На Ruby?

Question

[Дмитрий Сопот]

Ребят нужна помощь.Написал парсер по сайту ,но он собирает данные с одной страницы,как сделать чтобы он переходил на другую страницу и дальше собирал данные?Могу показать код скрипта

Answer 1

[Антон Иванов]

Парсить ссылки в коде и добавлять их в очередь заданий на последующий парсинг.

Comments

[Дмитрий Сопот]

можно я вам код покажу и вы подскажите?

Answer 2

[Антон Мельник]

Для не сильно сложных парсингов хватит open-uri и nokogiri

В цикле перебираешь свой массив с нужными страницами и сохраняешь все ссылки.

array_of_pages.each_with_index do |page_for_parsing, index|
  urls[index] = "http://www.site.com/#{page_for_parsing}"
end

Затем перебираешь ссылки и вытаскиваешь с помощью nokogiri нужную информацию.

urls.each_with_index do |url_for_parsing, index|
  page = open urls[index]
  doc = Nokogiri::HTML(page)
  doc.css('.class').each do |stuff|
    # Обрабатываем информацию
  end

Если надо что-то посложнее, то гем mechanize. На Хабре есть маленькая хорошая серия статей по парсингу на Руби.