Парсинг сайта после выполнения js подгрузки?

Question

[IronGun]

Есть сайт, который нужно запарсить (https://catalog.onliner.by/mobile ). Однако он подгружает данные через js. Я использую python библиотеку requests, однако она парсит страницу до запросов(requests.get(url)). Как запарсить страницу полностью или сделать, чтобы парсер оставался на странице?

import requests

f = open ('ind.txt', 'w')
url ='https://catalog.onliner.by/mobile?mfr%5B0%5D=xiaomi'
r = requests.get(url)
f.write(r.text)
print(r.text)
f.close()

Answer 1

[Сергей Карбивничий]

Правильная ссылка:

https://catalog.onliner.by/sdapi/catalog.api/searc...

- он отдает всё в готовом виде, в json.
На других страницах ищите по xhr:

Answer 2

[Тимур Покровский]

https://python-scripts.com/question/7270

Comments

[IronGun]

искал нужный xml файл - но не нашёл