Как парсить ответы с Mail.ru на Python?

Question

[vilaugra]

Нужно написать скрипт, который будет искать ответы с Mail.ru, выбирать рандомный из первых, потом переходить на этот вопрос и выбирать рандомный ответ. Звучит легко. Но проблема возникла в самом начале. Делаю так:

import requests
from bs4 import BeautifulSoup as BS

url = 'https://otvet.mail.ru/search/'
response = requests.get(f'{url}мой вопрос')
soup = BS(response.text, 'html.parser')

Но вместо вопросов на сайте куча скриптов, поэтому выбирать их из soup не получится. Как в этом случае парсить вопросы?

Answer 1

[soremix]

Нажмите F12, откройте вкладку network и посмотрите, какие XHR запросы там есть.

Спойлер:
Эндпоинт:
https://otvet.mail.ru/go-proxy/answer_json

Пример запроса:
https://otvet.mail.ru/go-proxy/answer_json?q=%D0%B...