Юзерскрипт для браузера напишите. Я так делаю, чтобы не разбираться, какие там сайт токены-шмокены при ajax-запросах посылает. У меня юзерскрипт автоматически "кликает" по кнопкам, так что сайт сам запрашивает инфу на своём сервере с нужными параметрами. Затем проверяю по setInterval приход ответа (появляются новые элементы в DOM) и парсю его. Работает медленно, так что для парсинга в "промышленных масштабах" не подойдёт.
Я так каждые 3 часа мониторю во всех магазинах Леруа Мерлен, Касторама, ОБИ, Петрович и других наличие товаров по некой товарной группе и вычисляю обороты продаж и режим поставок конкурентов.
