Как обойти блокировку сайта от парсинга?

Question

[Stepan Sidorov]

Вот этот сайт нужно спарсить: https://runcsgo.org.
Этот сайт защищен, и я использую fake-useragent для того чтобы обойти блокировку.
Я ее вроде как прохожу, но получаю совсем не то что на сайте при входе через браузер.
Вот мой код:

import requests as req
from bs4 import BeautifulSoup as BS
from fake_useragent import UserAgent
UserAgent().chrome
html = req.get("http://csgorun.org",headers={'User-Agent': UserAgent().chrome})
soup = BS(html.text, features="html.parser")
print(html)

Я знаю про selenium, но он открывает браузер, поэтому будет мешаться программе.
Скорее всего я как-то не правильно получаю страницу, но точно не уверен, может что-то не так с защитой.
Вообщем если кто знает как решить, напишите, очень поможете.

Comments

[Ivan Yakushenko]

Dr. Bacon, очевидно из того же места, откуда и

Я программист преимущественно на языках Python, C#, Java, в малой степени C++ и JS.
Из языков чисто для сайтов: Django framework, CSS, HTML, в малой степени PHP и JS.
Часто работаю на фриланс биржах.

Answer 1

[Сергей Карбивничий]

Кто вам сказал, что там стоит блокировка?
1) Некоторые данные подгружаются по xhr.
2) Также данные на сайте обновляются по websocket.

websockets.readthedocs.io
PyPI websockets 8.1

Comments

[Ivan Yakushenko]

ему бесполезно отвечать, что бы ты не написал - не дойдёт

[Stepan Sidorov]

Спасибо. Я написал что может быть я не правильно получаю страницу, видимо это так. Вы мне кстати не в первый раз помогаете.

Answer 2

[Stepan Sidorov]

Вот еще и мой ответ.
Сайт не блокирует меня если я использую UserAgent. Но увы у меня не получилось получить всю страницу с помощью BS4, поэтому я использовал chrome driver но в фоновом режиме.
Вот такой код получился:

from selenium import webdriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
import driver
from time import sleep
from bs4 import BeautifulSoup as BS

ua = dict(DesiredCapabilities.CHROME)
options = webdriver.ChromeOptions()
options.add_argument('headless')
browser = webdriver.Chrome(chrome_options=options)
browser.get('https://csgorun.org/')
soup = BS(browser.page_source,"html.parser")

Спасибо всем кто помогал.

Answer 3

[ghazar7an]

Вот тебе простой код парсера страницы.

from bs4 import BeautifulSoup
import requests
url = 'http://csgorun.org'
page = requests.get(url)
soup = BeautifulSoup(page.text, "html.parser")
print(soup)

Comments

[Stepan Sidorov]

Некоторые вещи не парсатся, я уже об этом писал. Также ошибка 403, сами попробуйте перед тем как писать.