Задать вопрос
@HexUserHex

Проблема с парсингом(slenium)?

Обращаюсь к тем кто часто пишет парсеры, есть один ресурс с которогр я пробую получить данныые, пробовал с помощью с bs4 но без успешно... сегодня решил попробовать с помощью selenium(юзаю его форк так как в оригинале нельзя менять заголовки..) хотя пробовал и оригинал все тоже самое.
Вообщем получаю всегда одно и тоже сообщение о блокировке, подскажите как быть?

You have been blocked.....


Как пробую:
#!/usr/bin/env python3
from seleniumwire import webdriver

driver = webdriver.Firefox()
url='https://leboncoin.fr'

driver.header_overrides = [(url, {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36"})]
driver.get(url)

for request in driver.requests:
    if request.response:
        #print(request.path, request.response.status_code, request.response.headers['Content-Type'])
        print(str(request.response))
  • Вопрос задан
  • 77 просмотров
Подписаться 1 Простой Комментировать
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы