Как парсить сайт который подгружает информации позже?

Question

[Александр Коваленко]

Всем привет нужно парсить сайт https://znanija.com/ , чтобы при любом вопросе он в ответ отправлял количество результатов и варианты ответов, но проблема в том что при переходе на сайт происходить прогрузка и чтобы получать информацию нужна задержка чтобы сайт прогрузился

import requests
from bs4 import BeautifulSoup
from time import sleep

URL = 'https://znanija.com/app/ask?entry=hero&q=%D0%BE%D0%B1%D1%8C%D0%B5%D0%BC+%D0%BA%D1%83%D0%B1%D0%B0'
header = {'user-agent':
              'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.190 Safari/537.36'}
sleep(2)
page = requests.get(URL, headers=header)
soup = BeautifulSoup(page.content, 'html.parser')
req = soup.find('span', {'class':'sg-text'})
print(req)

результат

<span class="sg-text">
Поиск...
</span>

Answer 1

[soremix]

нужна задержка чтобы сайт прогрузился

Это не так работает. Данные загружаются динамически с помощью дополнительных фоновых запросов.
Открываете инструменты разработчика, вкладку нетворк и ищите нужный вам запрос в XHR. Затем повторяете его через python
Спойлер: вот он


POST на https://znanija.com/graphql/ru

Comments

[MinTnt]

Знаешь, классно вот спустя много времени снова видеть подобный ответ. Считай благодаря твоему ответу на мой идентичный вопрос, я начал понимать, как всё устроено в сети и тд

[Александр Коваленко]

Так мне нужно получить данные, а не отправить или я не правильно понял?

[soremix]

KovalenkoA12, отправляете этот запрос, в ответ на него приходят посты

[MinTnt]

KovalenkoA12, ну вот нашёл другой мой ответ с инструкцией, для парсинга к примеру информации от скрипта Как вывести код с браузерным расширением?

[soremix]

MinTnt, и пост и гет умеют в передачу данных, просто в пост методе это специальное поле с пост-датой, которое поддерживает разные виды, application/x-www-form-urlencoded, application/json, multipart/form-data и др. Ну и пост соответственно не упирается в ограничение по URL, который можно получить если слать парааметры гетом. Ну а так да, это более правильная форма взаимодействия с сервером с динамическими данными

[MinTnt]

KovalenkoA12, о кста, советую скачать Fiddler, разобравшись в нём, прикольная программка, можно как смотреть получаемые запросы, так и повторять, с изменениями каких-то данных, и смотреть эффект