вообщем, я понимаю что возможно уже где то есть ответы на мой вопрос, но я все же расскажу суть вопроса
я пытаюсь спарсить страницу сайта, где нужно авторизоватся, но как мы знаем requests не выполняет скрипты после отправки запроса в python, называется скрипт запрос как то так
https://домен сайта/__qrator/qauth_utm_v2.js, и я ни как не могу понять как это все реализовать, кто захочет помочь я могу скинуть вам сайт, буду благодарен если кто то поможет, вот мой код который я написал
import requests
import html
from bs4 import BeautifulSoup, BeautifulStoneSoup
url = "https://site.ru"
s = requests.session()
header = {
'authority': 'site.ru',
'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
'accept-language': 'ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7',
'cache-control': 'max-age=0',
# Already added when you pass json=
# 'content-type': 'application/json',
# Requests sorts cookies= alphabetically
'sec-ch-ua': '"Google Chrome";v="107", "Chromium";v="107", "Not=A?Brand";v="24"',
'sec-ch-ua-mobile': '?0',
'sec-ch-ua-platform': '"Windows"',
'sec-fetch-dest': 'document',
'sec-fetch-mode': 'navigate',
'sec-fetch-site': 'same-origin',
'upgrade-insecure-requests': '1',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36',
}
proxy = {'http': 'http://localhost:8080', 'https':'https://localhost:8080'}
r = requests.get(url, headers=header, verify=False)
requests.get("https://site.ru/__qrator/qauth_utm_v2.js", proxies=proxy, headers={ 'authority': 'site.ru',
'accept': '*/*',
'accept-language': 'ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7',
'if-modified-since': 'Fri, 08 Apr 2022 14:57:26 GMT',
'sec-ch-ua': '"Google Chrome";v="107", "Chromium";v="107", "Not=A?Brand";v="24"',
'sec-ch-ua-mobile': '?0',
'sec-ch-ua-platform': '"Windows"',
'sec-fetch-dest': 'script',
'sec-fetch-mode': 'no-cors',
'sec-fetch-site': 'same-origin',
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36'}, verify=False, cookies=r.cookies)
print(r.cookies['qrator_jsr'])
root = BeautifulSoup(r.content, 'html.parser')
print(root)
input()
Если что я использую mitmproxy для отслеживания запросов (не реклама, просто так удобнее)
