Как получить данные страницы после перенаправления?

Question

[Kibernet]

Я провожу get запрос и хочу получить данные с сайта. Но сначала меня кидает на сайт, на котром строка с просьбой подождать, а после уже проходит перенаправление на нужный мне сайт. А при выводе данных сайта(print(req.text)), выводится как раз ненужная мне строчка при перенаправлении

Надпись при перенаправлении

Пример:

request = requests.Session()
send_link = "https://example.com"
req = request.get(send_link)
req.encoding = "utf-8"
print(req.text)

Comments

[User]

Надпись при перенаправлении

Так это уже на прогруженной странице, а не в заголовке запроса (301/302). Такое средствами requests не сотворите. Ищи́те ссылку в коде страницы и делайте переход вручную

[Kibernet]

Steven Konrov, Ну а как тогда это можно реализовать?

[kirillinyakin]

Вообще для таких вещей придумали Selenium

[Kibernet]

kirillinyakin, А иначе никак? Мне для телеграм бота нужно и тут селениум не прокатит...

[kirillinyakin]

А что за сайт то хоть?

[Kibernet]

kirillinyakin, Киви. Апи запрос на создание формы оплаты:

https://oplata.qiwi.com/create?publicKey=FAKEPUBLICKEY&amount=11&billId=ASDF1234-asdf-ZXCV-VCXZ-qwertyuiopfg&comment=test_connect

Answer 1

[krundetz]

Насколько я понимаю на том сайте используется js.

Проанализируйте как он работает, что делает и уже от этого принимайте решение как ваша программа должна действовать.

1. Если js просто встроен в HTML ответа и ждет определенное время то тоже дождитесь это время и сделайте запрос туда куда перенаправляет js
2. Если js подгружается на страницу то тащите все зависимости которые есть в HTML причем с применением cookie, а потом повторяйте действия js. Он может:
2.1. Тоже просто отсчитать время
2.2. Выполнить какое то другое действие, например сделать запрос у сервера куда перенаправить пользователя и только после ответа перенаправленние сделать.
и т.д. и т.п.

Как вам заметили в комментариях можете попробовать воспользоваться Selenium, но и в случае с ним для того чтобы получить необходимую информацию вам нужно будет разобраться, что происходит, как и почему.

Comments

[Kibernet]

Я просто не очень понимаю как это реализовать... Не могли бы подсказать?
Вот сама ссылка:

https://oplata.qiwi.com/create?publicKey=FAKEPUBLICKEY&amount=11&billId=ASDF1234-asdf-ZXCV-VCXZ-qwertyuiopfg&comment=test_connect

[krundetz]

Вы делаете страницу оплаты?

[Kibernet]

krundetz, Почти. Я делаю телеграм бота и выше пример с оплатой.

[krundetz]

хм

Можете немного подробнее рассказать какая задача перед вами стоит?

Я так понимаю что вам важно сделать оплату внутри бота и в данный момент вы к нему пытаетесь прикрутить оплату через API с платежной формой на стороне QIWI, который хорошо подходит для сайтов?

Если так то для телеграм бота лучше воспользоваться полнофункциональным API для платежных операций.

Документацию смотрите здесь

[Kibernet]

krundetz, Имеющийся способ вполне подходит. Только мне нужно как-то получать конечные данные с сайта(Не URL, а сами данные с сайта)

[krundetz]

Djimbo, хозяин барин, но на анализ поведения вы потратите гораздо больше времени, чем на внедрение решения на основе полнофункционального API. А когда разберетесь столкнетесь с тем что банк что то поменяет и все сломается.

С анализом помочь не смогу, это затраты не на час и не на два.