Хочу просматривать нетворк сайтов через питон, как это делать?

Question

[Andrey38287512]

Хочу через питон получать нетворк сайтов! Какая нужна библиотека для этого?

Comments

[Алан Гибизов]

А что такое нетворк сайтов?

Answer 1

[deepblack]

Хочу просматривать нетворк сайтов через питон, как это делать?

Может всё-же вкладку Network консоли разработчика а не "нетворк сайтов" ?

Код

Отсюда

import json
from selenium import webdriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities

caps = DesiredCapabilities.CHROME
caps['loggingPrefs'] = {'performance': 'ALL'}
driver = webdriver.Chrome(desired_capabilities=caps)
driver.get('https://stackoverflow.com/questions/52633697/selenium-python-how-to-capture-network-traffics-response')

def process_browser_log_entry(entry):
    response = json.loads(entry['message'])['message']
    return response

browser_log = driver.get_log('performance') 
events = [process_browser_log_entry(entry) for entry in browser_log]
events = [event for event in events if 'Network.response' in event['method']]

Используя selenium и browsermob-proxy:

from browsermobproxy import Server
from selenium import webdriver

server = Server("path/to/browsermob-proxy")
server.start()
proxy = server.create_proxy()

# Configure the browser proxy in chrome options
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument("--proxy-server={0}".format(proxy.proxy))
browser = webdriver.Chrome(chrome_options = chrome_options)

#tag the har(network logs) with a name
proxy.new_har("google")

browser.get("http://www.google.co.in")
print(proxy.har) # returns a Network logs (HAR) as JSON 
server.stop()
browser.quit()

код отсюда