Как спарсить новости с помощью bs4 с сайта https://seller.ozon.ru/news/?

Question

[xRA1Nx]

Добрый день!

Пытаюсь получить список новостей со страницы https://seller.ozon.ru/news/, но получаю 403 респонс.
Возможно ли обойтись в данной ситуации без selenium?

from fake_useragent import UserAgent # библиотека имитирующая работу браузера
from bs4 import BeautifulSoup
import requests

url = 'https://seller.ozon.ru/news/'

r = requests.get(url, headers={'User-Agent': UserAgent().chrome})
print(r)

принт выдает 403 респонс, со всеми вытикающими.

P.S. пробовал действовать без fake_useragent, применял различные хеадеры. Результат тот-же самый(((

Comments

[Dimonchik]

пичалька
надо другие заголовки проверить

[xRA1Nx]

https://www.useragentstring.com/pages/useragentstr... - я от сюда многие заголовки пробовал, без результатно (((

мне приходит в голову пока только 2 идеи:
1)Сохранить локально (оч не удообно т.к. придется сохранять много страниц и не получится динамического обновления БД)
2)использовать selenium - я с ним не работал, и на вскидку показалось что это довольно обьемная библиотека

мб у кого нибудь есть еще идеи как сделать это на bs4 ? ))

Answer 1

[Sergey]

xRA1Nx и "голый" selenium тут тоже не поможет (не говоря уже об элементарных подмен хедеров), ибо ozon работает под ClaudFlare.

Comments

[senator]

Неужели невозможно?

[Sergey]

georgi1984, Возможно - все (пока прямо не доказано обратное). Вопрос соотношения трудочасов/задачи/ресурсов
P.S. и уж точно, не в качестве образовательных целей, для "тренировки". Тот кто знает/умеет, бесплатно делиться этой информацией не будет. Ну и когда найденная "возможность" попадает в массы - она быстро "прикрывается" )))