Как нажать кнопку на сайте, парсинг?

Question

[matik135]

Пишу телеграмм бота который сможет скидывать пачки анекдотов сгенерированных нейросетью на сайте "https://randstuff.ru/joke/". Одну шутку достать с сайта получается легко. Но мне бы хотелось достать 10 анекдотов для использования в коде. На сайте есть кнопка "Сгенерировать", при нажатии на которую текст анекдота меняется. Подскажите пожалуйста, как мне автоматически нажимать эту кнопку?
Код:
import requests
from bs4 import BeautifulSoup as b
URL = 'https://randstuff.ru/joke/fav/'
r = requests.get(URL)
soup = b(r.text, 'html.parser')
anekdots = []
for i in range(10):
anekdot = soup.find_all('td')
anekdots.append(anekdot)
#здесь я и хочу добавить нажатие на кнопку "сгенерировать"

PS: я в таких делах ещё совсем совсем новичок, поэтому извините если это глупый вопрос. Заранее спасибо!

Comments

[Ипатьев]

А в пользовании интернетом вы тоже новичок?
по запросу "питон нажать кнопку на сайте" вам поисковики вообще ничего не находят?
или вы даже не пытались?

[Модератор]

Фрагменты кода надо размещать в виде текста и оборачивать тэгом code для корректного отображения. Удобно делать кнопкой </>
Это обязательно, см.п.3.8 Регламента.
Сюда же относится traceback, ввод и вывод в консоли и другая структурированная текстовая инфа.
Исправьте вопрос.

Answer 1

[alekssamos]

import requests
s=requests.session()
s.headers={"X-Requested-With": "XMLHttpRequest"}
joke_text = s.post("https://randstuff.ru/joke/generate/").json()["joke"]["text"]
print(joke_text)

Answer 2

[Mors Clamor]

Через инструменты разработчика смотрите какой запрос отсылается на сервер и повторяйте
Там обычный POST на этот же адрес и внятный ответ в JSON

Answer 3

[d-sem]

На сайте нет никакого антипарсинга, т. е. нет смысла заморачиваться с нажатием кнопки.
Просто сделайте с заголовком 'X-Requested-With': 'XMLHttpRequest

import http.client

conn = http.client.HTTPSConnection("randstuff.ru")
payload = ''
headers = {
  'X-Requested-With': 'XMLHttpRequest'
}
conn.request("POST", "/joke/generate/", payload, headers)
res = conn.getresponse()
data = res.read()
print(data.decode("utf-8"))