Как получить все url get запросов с сайта?

Question

[yxtiblin]

Есть сайт 2gis на который предлагает варианты столовок например

и при клика каждого такого варианта я получаю get запросы среди которых есть json файл с информацией о столовке.

И я хочу получить этот json файл с каждой столовки, но его url всегда разный. Как я могу получить все get запросы с их полными url?

Comments

[Егор Тельнов]

Как вариант, получить все ссылки на странице, отфильтровать из них совсем левые с помощью регулярки, опросить оставшиеся и забрать нужный json

Answer 1

[Dimonchik]

Scrapy в помощь

но учти что 2gis парсить нелегко

Answer 2

[Andrey]

Url всегда нормальный

spoiler

https://api.photo.2gis.com/2.0/photo/get?key=gYu1s9N1wP&object_id=70000001041515922&object_type=branch&locale=ru_RU&status=active&sort_by=position&album_code=common&preview_size=600x600,300x300,100x100&size=4&page=1

Меняй 70000001041515922 на другие номера и получишь то что тебе надо
Список id есть на страницу и зашит в url организации но получить этот список ты стандартным requests не сможешь потому как станица генерируется js

Comments

[yxtiblin]

я хотел так сделать но к сожалению меняются не только эти цифры