Парсинг Сайта На Ruby?

Question

[Дмитрий Сопот]

написал парсер сайта для товара ,но он берет данные когда указываешь ссылку на определенный товар ,а надо что бы он сам пробегался по всему сайту и собирал данные.Кто может помочь?

Answer 1

[Артур Борденюк]

Почему бы не написать другой парсер, который смотрит, например, в sitemap сайта и собирает все ссылки подходящие (т.е. ссылки на карточку товара).

В момент когда нужна ссылка определена - создаём задачу в delayed_job (например), а сама задача просто выполняет тот скрипт, который уже готов (принимает на вход ссылку).

Про преимущества использования очередей упоминать, думаю, не стоит. :)

Answer 2

[alex maslakoff]

либо давайте ему весь список товаров, либо делайте так, чтобы он сам его парсил с сайта.