В чем проблема?

Question

[freds]

///////////////////////////////////////////////////////////////////////

Answer 1

[PavelMos]

На других страницах сайта в ответе содержится сообщение Oops! Please enable JavaScript and Cookies in your browser

Вообще пишут тута например
https://ru.stackoverflow.com/questions/749943/%D0%...
что BS для Javascripta не походит

Comments

[freds]

А как можно получить страничку с помощью реквестов?
Селениум мне не подойдет

[AVKor]

freds,

А как можно получить страничку с помощью реквестов?

Значит, никак. Там всё на JavaScript. И куки требует.

Answer 2

[galaxy]

Вообще, как я вижу, он по HTTPS возвращает такой ответ. А по HTTP/2 (точнее, h2) нормальный

Comments

[freds]

Можете пожалуйста поделиться вашим кодом?

[galaxy]

freds, requests не поддерживает http/2. Придется использовать другую библиотеку, например, hyper:

from hyper import HTTPConnection

headers = {
        'user-agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1985.143 Safari/537.36',

            }

c = HTTPConnection('lolz.guru', 443)
c.request('GET', '/forums/contests/', headers=headers)
resp = c.get_response()

print(resp.read())
print(resp.headers)

(впрочем, ее можно использовать совместно с requests)

При такое раскладе уже не пустой ответ приходит, а какая-то затычка на JS. Видимо, какая-та защита от роботов срабатывает