Я занимаюсь парсингом сайта на python c помощью BF4. Все страницы кроме одной парсятся без проблем. Но проблемную страницу не удаётся считать из-за того, что после обращения к этой странице она перенапрявляет меня на главную.
За это отвечает какой-то скрипт? И как в теории обойти это переадресацию?
Если коротко — никак)
Сама суть редиректа в этом. Страница это ссылка на другую страницу
Но если вам нужно отлавливать переадресации, можно использовать "status_code"
r = requests.get(url)
if r.status_code in [301, 302]:
# переадресация
Vovan2005, когда вы отправляете запрос, получаете ответ. Это может быть страница, а может быть редирект или другой код ответа. Если нужно отыскать, что было на странице попробуйте вебархив или точный поиск в гугле.
Александр, А с другой стороны, каким образом мне удаётся просмотреть эту страницу в браузере? Получается, высылается 2 одинаковых по содержанию ответа, только с разными кодами? Сложно
Александр, в рамках requests можно указать флаг allow_redirects=False и тогда редиректа не будет.
Vovan2005, если вы откроете консоль браузера, а еще включите сохранение переходов, то увидите что браузер так же проскакал по редиректам, а еще возможно вас тупо банят ка бота и шлют не туда куда надо
Влад Григорьев, но ведь каким-то образом, когда на этом сайте я жму на кнопку(ссылку), то я перехожу на нужный сайт. Следовательно, существует условие: делать редирект, если юзер перешёл не по ссылке, которая активируется кнопкой? Или как? Просто я не верю в невозможность спарсить ту или иную страницу!
