Как обойти ошибку bad_request, error 007 при парсинге сайта онлайн-магазина продуктов?

Question

[Aghanimoff]

Доброго дня.

У меня есть некоторый опыт работы на Python, однако я никогда не парсил сайты и сейчас при такой необходимости по разным инструкциям написал простенький запрос на request + bs4 и в самом дереве переменной html через дебагер вижу такую ошибку:

"Bad request"
"Error_code: 007"
"This request was blocked by security rules"

Код:

import requests
from bs4 import BeautifulSoup as BS

r = requests.get('https://www.okeydostavka.ru/spb/ovoshchi-i-frukty/ovoshchi')
html = BS(r.content, 'html.parser')

Целевой сайт:
https://www.okeydostavka.ru/spb/tovary-dlia-zhivot...

Подскажите, в чем ошибка и как её можно исправить?

Answer 1

[cunning-seal]

Там стоит примитивная защита, проверяет User-Agent.
Прикинься браузером, проставь User-Agent заголовок (значение можно посмотреть если перейдешь в браузере и в дебагере посмотришь заголовки запросов) - и будет тебе счастье