Как можно перейти на следующию страницу при парсинге JSON?

Question

[Vlad_beg]

Cайт имеет 100 страниц, которые необходимо все спарсить. На самом сайте могу указать в параметрах URL определенную страницу
https://shopee.sg/search?keyword=hdmi&page=0&sortB...
Но если при парсиге json-a указываю &page=5 в урл, то выдаются товары с первой страницы, так же при заходе на страницу не могу просмотреть больше 100 продуктов
https://shopee.sg/api/v2/search_items/?&keyword=hd...

Подскажите, как спарсить все страницы?

Answer 1

[Developer]

Куки передаёшь? Все хедеры установил?
UPD:
Вот так возвращает разные товары:
https://shopee.sg/api/v2/search_items/?by=relevanc...

https://shopee.sg/api/v2/search_items/?by=relevanc...

https://shopee.sg/api/v2/search_items/?by=relevanc...

Надо дополнительно передавать параметр newest, смещение
newest = limit * page

Comments

[Vlad_beg]

хедеры установлены, но причем тут это?, если по самому урл я не могу получить больше чем 100 продуктов

[Developer]

Это называется пейджинг.
В данном случае отдаётся по 100 продуктов для каждой страницы.
Для доступа к следующим 100 продуктам надо передать page+1

[Vlad_beg]

я написал в вопросе, что для урла https://shopee.sg/api/v2/search_items/?&keyword=hd... если указываю параметр &page=2 он выдает все те же продукты что и без параметра

[Developer]

А вот так выдаются разные товары:
https://shopee.sg/api/v2/search_items/?by=relevanc...

https://shopee.sg/api/v2/search_items/?by=relevanc...

https://shopee.sg/api/v2/search_items/?by=relevanc...

[Vlad_beg]

продукты просто получаются отсортированы поразному, таким образом я ни как не получу конкретно продукты с определенной страницы

[Developer]

ну так убери by=relevancy
В самом начале был один вопрос - получить разные товары с разных страниц. Я ответил и считаю, что верно.

[Vlad_beg]

извиняюсь все верно, я просто смотрел по ссылке newest=100 и сравнивал о второй страницой и не мог найти товары, а надобыло начинать с newest=50 для второй страницой. Спасибо большое за помощь)