Как избежать переадресации при парсинге сайта?

Question

[Vovan2005]

Я занимаюсь парсингом сайта на python c помощью BF4. Все страницы кроме одной парсятся без проблем. Но проблемную страницу не удаётся считать из-за того, что после обращения к этой странице она перенапрявляет меня на главную.
За это отвечает какой-то скрипт? И как в теории обойти это переадресацию?

Answer 1

[Александр]

Если коротко — никак)
Сама суть редиректа в этом. Страница это ссылка на другую страницу
Но если вам нужно отлавливать переадресации, можно использовать "status_code"

r = requests.get(url)
if r.status_code in [301, 302]:
    #  переадресация

Если используете requests посмотрите этот пример

Comments

[Vovan2005]

Спасибо за информацию, но всё равно не верю в невозможность спарсить страницу, которая стала жертвой редиректа:)

[Александр]

Vovan2005, когда вы отправляете запрос, получаете ответ. Это может быть страница, а может быть редирект или другой код ответа. Если нужно отыскать, что было на странице попробуйте вебархив или точный поиск в гугле.

[Vovan2005]

Александр, А с другой стороны, каким образом мне удаётся просмотреть эту страницу в браузере? Получается, высылается 2 одинаковых по содержанию ответа, только с разными кодами? Сложно

[Влад Григорьев]

Александр, в рамках requests можно указать флаг allow_redirects=False и тогда редиректа не будет.

Vovan2005, если вы откроете консоль браузера, а еще включите сохранение переходов, то увидите что браузер так же проскакал по редиректам, а еще возможно вас тупо банят ка бота и шлют не туда куда надо

[Vovan2005]

Влад Григорьев, но ведь каким-то образом, когда на этом сайте я жму на кнопку(ссылку), то я перехожу на нужный сайт. Следовательно, существует условие: делать редирект, если юзер перешёл не по ссылке, которая активируется кнопкой? Или как? Просто я не верю в невозможность спарсить ту или иную страницу!

[Влад Григорьев]

Vovan2005, открой консоль браузера с вкладкой нетворк, включите сохранение истории и смотрите чего не хватает. Без этого чего гадать то

[Vovan2005]

Влад Григорьев, в каком плане не хватает?

[Влад Григорьев]

Vovan2005, у вас слишком абстрактный вопрос, без конкретики тут не помочь.