Как парсить запросы с network(консоль разработчика)?

Question

[Dima]

Дайте совет как это сделать и в какую сторону копать?

Comments

[Сергей Горностаев]

С network никак, Python же в браузере не выполняется, да и вкладка Network в DevTools предназначена для отображения запросов, а не парсинга.

[Dima]

Сергей Горностаев, даже повторить запрос нельзя?

[Сергей Горностаев]

Dima, можно, если защит каких-нибудь нет. Смотрите куда делается запрос, как и что в нём передаётся, а потом выполняйте такой же запрос из python-кода.

[Dima]

Сергей Горностаев, защиты нету я повтарял запрос но для этого мне пришлось в ручную url брать но как его можно было бы найти в html code уже искал его с помощью re.search()

[Сергей Горностаев]

Dima,на все 100% уверен, что интерфейс Steam использует ajax, так что в коде html-страницы искать ссылки бесполезно. Вероятно, поможет что-нибудь вроде Selenium.

[Dima]

Сергей Горностаев, я знаю что селениум легко с этим справится только его проблема он медленный

Answer 1

[Sergey Shvyrev]

Судя по скриншоту это обычный GET запрос.
Достаточно будет отправить его на сервер с теми же query параметрами.
На всякий случай есть смысл перестраховаться и проанализировать запросы через WireShark или Charles proxy.

Charles proxy - проще для использования. WireShark - богаче по функционалу.

Comments

[Dima]

прикол в том что я должен его получить без параметров или получить параметры не просто посмотрев через консоль
WireShark нужно попробовать давно про него слышал и думаю это интересно

[Sergey Shvyrev]

Dima, убрать параметры из запроса или получить все запросы со страницы?

Если второй вариант подписывайтесь на события реквестов из Selenium. Если бы это была Java рекомендовал бы Htmlunite. Это фреймворк внутри Selenium.