Обход блокировки парсинга?

Question

[flexpc]

есть такой код

from bs4 import BeautifulSoup
import requests
from fake_useragent import UserAgent

url = 'https://uchebnik.mos.ru/app_player/532680'

response = requests.get(url, headers={'User-Agent': UserAgent().chrome})

print(response.text)

я вроде бы использую user agent но сайт все равно меня блокает и я получаю такую страницу

Скриншот фрагмента кода удалён модератором.

хотя если я на эту же ссылку зайду с обычного браузера, всё откроется. Никаких капч на сайте нет. Как решить проблему?

Comments

[Модератор]

Не надо ставить как можно больше тэгов. Лучше оставить один, но конкретный, с которым проблема.
См.п.3.1 Регламента. Также обратите внимание на п.3.6

[Модератор]

Скриншот фрагмента кода удалён модератором. Фрагменты кода надо размещать в виде текста и оборачивать тэгом code для корректного отображения. Удобно делать кнопкой </>
Это обязательно, см.п.3.8 Регламента.
Сюда же относится traceback, ввод и вывод в консоли и другая структурированная текстовая инфа.

Answer 1

[Алексей Гриченко]

Если я захожу обычным браузером сразу на номерную страницу, то получаю "доступ запрещен". Если сначала иду на главную, а потом на номерную, то все работает. Отсюда напрашивается версия, что главная ставит какие-то куки, которые потом проверяются на других страницах. Надо попробовать их сохранять и отправлять обратно.

Comments

[flexpc]

спасибо, ты был прав