Не могу спарсить страницу?

Question

[Hcuy]

Всем привет! Нужно спарсить сайт точнее профили людей которых нашел сайт.
Вроде бы ничего сложного, я делаю это так:

url = 'https://go.mail.ru/search_social?fr=main&frm=main&q=%D0%98%D0%B2%D0%B0%D0%BD%20%D0%98%D0%B2%D0%B0%D0%BD%D0%BE%D0%B2&src=go&sbmt=1626900599514&hasnavig=0'
    response = requests.get(url)
    soup = BeautifulSoup(response.text, 'lxml')
    people=soup.find_all('a', {'class': 'Link-root NarrowCard-wrapper Link-hoverable Link-visitable'}) 
    print ( people )

класс выбрал вроде бы правильный, но результат - пустой список. Прошу помощи! Спасибо!

Answer 1

[Vindicar]

1. Проверь, что за ответ получает твой скрипт от сайта (тупо запиши в файл и посмотри). Многие сайты защищаются от таких горе-парсеров.
2. Даже если сайт не защищается специально, информация может подгружаться скриптом, т.е. страница изначально её не содержит. В этом случае нужно или реверс-инжинирить скрипт (выяснять, что за запрос он делает и пытаться воспроизвести), или использовать управляемый скриптом браузер типа selenium.

Answer 2

[Antonio Solo]

для парсинга сайтов у которых контент генерится на клиете используй selenium