Как спарсить страницу если есть preload page?

Question

[chrispsow]

Когда заходишь в первый раз на https://838365.com нужно выбрать язык и потом зайти еще раз на 838365.com как бы сохраняя в кеше, что ты выбрал язык, не знаю точно как это работает

import requests
from bs4 import BeautifulSoup

session_requests = requests.session()
headers = {
    'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36'
}
page = session_requests.get('https://mobile.838365.com', headers=headers)
page = session_requests.get('https://838365.com', headers=headers)

if page.status_code == 200:
	soup = BeautifulSoup(page.content, 'html.parser')
	print(soup)
else: 
	print(page.status_code)

Написал такой, только он парсит что-то левое похоже

Answer 1

[tema_sun]

Я бы сначала рендерил страницу чем-то умеющим в JS (например, PhantomJS или Selenium), а потом бы уже парсил результат в Питоне.