Hcuy
@Hcuy
Профессионально считаю ворон.

Не могу спарсить страницу?

Всем привет! Нужно спарсить сайт точнее профили людей которых нашел сайт.
Вроде бы ничего сложного, я делаю это так:
url = 'https://go.mail.ru/search_social?fr=main&frm=main&q=%D0%98%D0%B2%D0%B0%D0%BD%20%D0%98%D0%B2%D0%B0%D0%BD%D0%BE%D0%B2&src=go&sbmt=1626900599514&hasnavig=0'
    response = requests.get(url)
    soup = BeautifulSoup(response.text, 'lxml')
    people=soup.find_all('a', {'class': 'Link-root NarrowCard-wrapper Link-hoverable Link-visitable'}) 
    print ( people )

класс выбрал вроде бы правильный, но результат - пустой список. Прошу помощи! Спасибо!
  • Вопрос задан
  • 59 просмотров
Пригласить эксперта
Ответы на вопрос 2
@Vindicar
1. Проверь, что за ответ получает твой скрипт от сайта (тупо запиши в файл и посмотри). Многие сайты защищаются от таких горе-парсеров.
2. Даже если сайт не защищается специально, информация может подгружаться скриптом, т.е. страница изначально её не содержит. В этом случае нужно или реверс-инжинирить скрипт (выяснять, что за запрос он делает и пытаться воспроизвести), или использовать управляемый скриптом браузер типа selenium.
Ответ написан
solotony
@solotony
покоряю пик Балмера
для парсинга сайтов у которых контент генерится на клиете используй selenium
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы