написал парсер сайта для товара ,но он берет данные когда указываешь ссылку на определенный товар ,а надо что бы он сам пробегался по всему сайту и собирал данные.Кто может помочь?
Почему бы не написать другой парсер, который смотрит, например, в sitemap сайта и собирает все ссылки подходящие (т.е. ссылки на карточку товара).
В момент когда нужна ссылка определена - создаём задачу в delayed_job (например), а сама задача просто выполняет тот скрипт, который уже готов (принимает на вход ссылку).
Про преимущества использования очередей упоминать, думаю, не стоит. :)
Простой
