@lleballex

Как парсить ответы с Mail.ru на Python?

Нужно написать скрипт, который будет искать ответы с Mail.ru, выбирать рандомный из первых, потом переходить на этот вопрос и выбирать рандомный ответ. Звучит легко. Но проблема возникла в самом начале. Делаю так:
import requests
from bs4 import BeautifulSoup as BS

url = 'https://otvet.mail.ru/search/'
response = requests.get(f'{url}мой вопрос')
soup = BS(response.text, 'html.parser')

Но вместо вопросов на сайте куча скриптов, поэтому выбирать их из soup не получится. Как в этом случае парсить вопросы?
  • Вопрос задан
  • 105 просмотров
Решения вопроса 1
SoreMix
@SoreMix
yellow
Нажмите F12, откройте вкладку network и посмотрите, какие XHR запросы там есть.

Спойлер:
Эндпоинт:
https://otvet.mail.ru/go-proxy/answer_json

Пример запроса:
https://otvet.mail.ru/go-proxy/answer_json?q=%D0%B...
Ответ написан
Пригласить эксперта
Ответы на вопрос 1
l3ftoverz
@l3ftoverz
Dance Gavin Dance - Inspire The Liars
Скорее всего там рендерится всё через JS, значит нужно его исполнение.
Из этого следует, что нужен headless браузер, типа силениума.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
OnederX Москва
от 100 000 до 120 000 ₽
NatsON Москва
от 220 000 до 350 000 ₽
BestDoctor Москва
До 250 000 ₽
15 авг. 2020, в 05:23
5000 руб./за проект
15 авг. 2020, в 04:49
5000 руб./за проект
15 авг. 2020, в 04:41
2000 руб./за проект