Почему сайт не грузит requests, bs4?

Question

[fr0s1ee]

когда я проверяю парситься страница, то у меня просто вечная анимация сайта и ничего большего
сам код:

import requests
from bs4 import BeautifulSoup
from time import sleep
import fake_useragent

ua = fake_useragent.UserAgent().random

headers = {
    "user": ua
}

link_main = "https://market.csgo.com/en/"

response = requests.get(url=link_main, headers=headers)
sleep(10)
with open("file.html", "w", encoding="utf-8") as r:
    r.write(response.text)
    r.close()

Comments

[Dimonchik]

там защита, уж от реквестс так точно

Answer 1

[Vindicar]

Во-первых, нет заголовка "user", есть "User-Agent".
Во-вторых, сайт может проверять и другие заголовоки. Попробуй скопировать заголовки запроса из браузера.
В-третьих, сайт может подтягивать контент скриптами. В этом случае может быть практичнее посмотреть, какие запросы делают скрипты, и имитировать уже их. Там с высокой вероятностью JSON, который куда удобнее загружать.