Запрос отдает не все данные. Почему?

Question

[Jeff_Parker]

Необходимо автоматизировать отчетность из веб приложения
Было принято решение повторять запросы и забирать данные в JSON, это оказалось куда удобнее. Проблема возникла когда я решил ускорить процесс парсинга - а именно не заходить ботом по отдельности на каждый аккаунт, а работать только с общим "пулом", то есть со страницей где указаны все аккаунты. Зайдя туда можно увидеть такой запрос



Вроде все в порядке, массив из 160 строк данных. Это то, что нужно. Но...



Кажется данных меньше, всего 50 строк из 160 обещанных. Странно...
Поломав голову полсотни лет пару минут, я понял, что кол-во элементов на странице соответствует тому, что передает запрос. Вот они, эти элементы



Признаться честно, я пытался почти пол часа показать эти элементы в консоли...
А вот так они выглядят на странице, кому интересно



И еще 47 таких
А теперь перейдем к вопросу, как же все таки мне получить все эти элементы, если количество строк данных ограничены вместимостью страницы?

Comments

[Rst0]

я бы изучил вкладки payload обоих запросов

[Jeff_Parker]

Rst0, пожалуйста. Они, кстати, ни чем не отличаются

[Rst0]

rangeStart rangeEnd отличается от запроса, который выдает полный результат?

[Rst0]

Ну чудес ведь не не бывает.
Если тип запроса, заголовки, cookies, и payload data совпадают, то сервер отдаст то же самое.

[Алексей Уколов]

Rst0, у автора приведён только один запрос, он просто не знает, как им пользоваться, чтобы получить следующую страницу результатов.

Answer 1

[Алексей Уколов]

Мы не знаем, как нужно работать с неизвестным нам API. Очевидно, что там есть какая-то пагинация, если данные с номера 51 можно всё же как-то получить. Как эта пагинация выглядит, нам неведомо.

Comments

[Jeff_Parker]

А нет никаких API, данные я краду собираю на node js, при помощи fetch. Это отдельная долгая история...

[Алексей Уколов]

Вы получаете данные в машиночитаемом формате JSON - это и есть API.

[Алексей Уколов]

Ну вот вы выше приложили payload. Параметр page: 1 в нём вас ни на какие мысли не наталкивает?

[klick1287]

плюсую. чел просто хочет забесплатно написать 1М и получить всю выдачу условного "алиэкспресса"
то, что цифра возвращается в ответе это может быть даже не баг, а фича, как раз для таких шибко умных товарищей
пару лет назад нужно было парсить какой то китайский маркетплейс. они не слали мне ни 429 ни 410, они просто кормили моего бота фейковой инфой. и да, я считаю, что это справедливо ))

[Rst0]

klick1287 , это и сейчас не баг))

[klick1287]

Rst0, я не разбираюсь ни в количестве граней ни вообще в геометрии ваших прутков. просто обычно (это не стандарт, не обязательно всегда) totalCount подразумевает общее количество записей с пагинацией. конечно в выдаче должны быть еще и какие то намеки на пагинацию. но не мне их судить ))

[klick1287]

klick1287, если плохое API - либо подстраивайтесь под него, смотрите как браузер/приложение с ним работает.. либо не берите работу. я пришел вас ограбить, а у вы мне даже сумки не собрали, из этой истории? я так понимаю у сайта/приложения все с их API худо-бедно работает. нелегальный срэпер разочарован.

[klick1287]

klick1287, с телефона пишу поэтому много очепяток. scraper. остальное думаю по смыслу понятно

[Jeff_Parker]

Алексей Уколов, в глаза долблюсь. Вообще не пытался изучать пэйлод, поскольку раньше этого параметра не было. Засчитаю за ответ