@kibernetshow

Как получить данные страницы после перенаправления?

Я провожу get запрос и хочу получить данные с сайта. Но сначала меня кидает на сайт, на котром строка с просьбой подождать, а после уже проходит перенаправление на нужный мне сайт. А при выводе данных сайта(print(req.text)), выводится как раз ненужная мне строчка при перенаправлении
Надпись при перенаправлении
5f9864a2d7f7e858612524.png

Пример:
request = requests.Session()
send_link = "https://example.com"
req = request.get(send_link)
req.encoding = "utf-8"
print(req.text)
  • Вопрос задан
  • 88 просмотров
Пригласить эксперта
Ответы на вопрос 1
@krundetz
Насколько я понимаю на том сайте используется js.

Проанализируйте как он работает, что делает и уже от этого принимайте решение как ваша программа должна действовать.

1. Если js просто встроен в HTML ответа и ждет определенное время то тоже дождитесь это время и сделайте запрос туда куда перенаправляет js
2. Если js подгружается на страницу то тащите все зависимости которые есть в HTML причем с применением cookie, а потом повторяйте действия js. Он может:
2.1. Тоже просто отсчитать время
2.2. Выполнить какое то другое действие, например сделать запрос у сервера куда перенаправить пользователя и только после ответа перенаправленние сделать.
и т.д. и т.п.

Как вам заметили в комментариях можете попробовать воспользоваться Selenium, но и в случае с ним для того чтобы получить необходимую информацию вам нужно будет разобраться, что происходит, как и почему.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы