Не цепляется к тегам, классу. Первый запрос на HTML выдает не весь код, тег body остаётся скрыт, как туда пробраться и в этом ли проблема?

Question

[Григорий Маханько]

Доброе утро всем! Столкнулся с такой задачей: нужно спрасить с сайта инфу, при попытках прицепиться к тегам и классам выдаёт ровным счетом ноль. Если сделать первый запрос на html страницу или сохранив страницу сайта в html, обнаружил, что страница приходит на вся, всё что в теге body скрыто, может быть в этом проблема, если да то как решить? Сайт: https://www.whitegoods.ru/

Для начала мне нужно забрать ссылку на категорию и название этой категории

Код:
from cgitb import html
import requests
from bs4 import BeautifulSoup
from fake_useragent import UserAgent


head = {
"Accept": "*/*",
"User-Agent": 'UserAgent().random'
}
url = "https://www.whitegoods.ru"

def get_html(url, params = ''):
r = requests.get(url, headers = head)
return r

def get_content(html):
soup = BeautifulSoup(html, 'html.parser')
items = soup.find('a', class_= 'maincat__title')

print(items)

def parse():
html = get_html(url)
get_content(html.text)
print(html.text)

parse()

Что делаю не так? Как собрать правильную функцию?

Answer 1

[Григорий Маханько]

В документации к beautifullsoup есть , но я не понимаю где применить, после попытки , в ответ приходит не полная html страница