Как получить https редирект ссылку в запросе get?

Question

[Гектор Синхром]

Я получаю ссылку (1), переходя на которую происходит 5-ти секундная проверка, после чего - редирект на другую ссылку (2). Используя библиотеку telethon написал такой код:

r = requests.get(url1, allow_redirects=True)
print(f'Чистая ссылка: {r.url}')

Результат возвращает ссылку (1), которая была изначально. Как мне получить ссылку (2) в скрипте?

Answer 1

[Vindicar]

> переходя на которую происходит 5-ти секундная проверка
Это означает, что редирект выполняется средствами JS, а не через коды ответа HTTP 3XX.
requests умеет обрабатывать только последний вариант, так как она не эмулирует браузер целиком.
Теоретически правильную ссылку можно выцарапать из содержимого скачанной страницы, но на практике не факт - скорее всего, страницу с проверкой ввели как раз для защиты от скриптов типа твоего.
Можешь поиграться с пакетом selenium, он позволяет притворяться полноценным браузером - вдруг получится.

Comments

[Гектор Синхром]

Пробовал через селениум, драйвер открывает страницу и проверка длиться очень долго похоже это проверка понимает, что на сайт пытается попасть скрипт, а не человек (юзер агент ставил такой же, как у меня в браузере, которым пользуюсь).

[Vindicar]

Гектор Синхром, там дело далеко не одном юзер агенте, погугли browser fingerprinting.