Парсинг id товаров в url сайта?

Question

[Ярослав Студеникин]

Здравствуйте! Суть проблемы: Пишу парсер магазина на php. у Магазина есть url:
( для примера ) shop.ru/catalog. Так вот, полного каталога с товарами в магазине нет, есть только одиночные товары с их id, который добавляется в url при переходе на него. ( shop.ru/catalog/45689354 ). Но мне нужно обращаться к url shop.ru/catalog и подставлять id скриптом. Допустим перебрать я хочу от 1 до 1000 000 idшников, за раз выкачивая 100 товаров. Возможна ли подобная реализация? Либо есть какие-то библиотеки? Спасибо.

Comments

[Ярослав Александров]

забирай урлы товаров из файла sitemap.xml

[Ярослав Студеникин]

Ярослав Александров, как найти этот файл на стороннем сайте?

[Ярослав Александров]

yar_stun, домен.ру/sitemap.xml если такого адрес нет, тогда посмотреть какой адрес сайтмапа указан в файле роботс домен.ру/robots.txt

[Ярослав Студеникин]

Ярослав Александров, нет там sitemap, увы:(

[Ярослав Александров]

yar_stun, в каталоге же есть категории, обычно категории есть в боковом меню либо в вкладке каталога. На странице списка категории можно собрать ID либо урлы детальных страниц