Выводит None при парсинге страницы. Как исправить?

Question

[progerstas]

Выводит None при парсинге страницы. Попробовал подождать 5 сек с помощью time.sleep(5)

Но не работает. Вот мой код:

import requests
from bs4 import BeautifulSoup as BS
import time

url = 'https://krunker.io/social.html?p=profile&q=_Gleb_'
r = requests.get(url)
time.sleep(5)
html = BS(r.content, 'html.parser')

a = html.find(id = 'profileHolder.profileData.profileName')
print(a)

time.sleep(5)

Comments

[Ivan Yakushenko]

Попробовал подождать 5 сек с помощью time.sleep(5

почему именно 5? может нужно 10, или 15, кто знает...

Answer 1

[Сергей Горностаев]

Потому что нет элемента с таким id

Answer 2

[Сергей Карбивничий]

Потому что в данном случае нужно использовать selenium, так как там почти сплошной javascript. Запросите страницу requests'м, и сохраните её на диск, и посмотрите что в неё внутри

Answer 3

[max4107575]

Элемент "profileData" можно получить следующим образом:

import requests
from bs4 import BeautifulSoup as BS
import time

url = 'https://krunker.io/social.html?p=profile&q=_Gleb_'
r = requests.get(url)
soup = BS(r.text, 'lxml')
result = soup.find("div", { "id" : "profileData" })
print (result)

Результат:
<div id="profileData"></div>
Похоже, что он заполняется после исполнения Javascript. Посмотрите следующую Javascript-функцию, которая присутствует в ответе на запрос:
function F(e, t, n, r, a, i, d, f)
Ее код слишком длинный, вставлять ее не буду.