Как найти источник данных этого сайта?

Question

[serhiops]

Пытаюсь собрать данные с этого сайта. Как я понял, вся информация подгружается динамически, но при этом источник от куда беруться данные не нашел, в разделе Network хрома показывает что запрашиваются только css, js, png данные. При обычном Get запросе выдает страницу без данных

Answer 1

[rPman]

Открываешь страницу, затем консоль разработчика F12, вкладка сеть, затем обновить страницу, затем во вкладке сеть нажимаешь кнопку "лупа" справа от "поиск url", затем вставляешь в поле поиска ресурсов снизу строку из данных, источник которых ты ищешь, например заголовок "Zentrumsnähe - Wohnen und Arbeiten auf 6 Zimmer - frisch renoviert" и получаешь две ссылки источника данных:

https://homepagemodul.immowelt.de/list/api/list/?callback=listcallback&guid=b2436f43607c49f49b3e1135fe8f33d1&area=&eType=-1&eCat=-1&geoid=-1&livingarea=&page=1&price=&rentfactor=&room=&squareprice=&windowarea=&stype=0&_=1719720028049
https://homepagemodul.immowelt.de/list/api/list/?callback=listcallback&guid=b2436f43607c49f49b3e1135fe8f33d1&area=&eType=-1&eCat=-1&geoid=-1&livingarea=&page=1&price=&rentfactor=&room=&squareprice=&windowarea=&stype=0&_=1719720028050

Запрос нужно будет повторять максимально точно, с заголовками, и универсально это потребует реверсинжеринг кода сайта (например бакэнд может запрещать запрос разных данных с тем же хешем в url, а получение хеша - суть обфусцированного кода на javascript).

Comments

[serhiops]

действительно, не знал о такой функции. Большое спасибо

[rPman]

там еще в меню можно сохранить всю сессию в .har файл, это в формате json абсолютно все данные красиво разложенные по массивам.