Задать вопрос
@HexUserHex

Проблема с парсингом(slenium)?

Обращаюсь к тем кто часто пишет парсеры, есть один ресурс с которогр я пробую получить данныые, пробовал с помощью с bs4 но без успешно... сегодня решил попробовать с помощью selenium(юзаю его форк так как в оригинале нельзя менять заголовки..) хотя пробовал и оригинал все тоже самое.
Вообщем получаю всегда одно и тоже сообщение о блокировке, подскажите как быть?

You have been blocked.....


Как пробую:
#!/usr/bin/env python3
from seleniumwire import webdriver

driver = webdriver.Firefox()
url='https://leboncoin.fr'

driver.header_overrides = [(url, {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36"})]
driver.get(url)

for request in driver.requests:
    if request.response:
        #print(request.path, request.response.status_code, request.response.headers['Content-Type'])
        print(str(request.response))
  • Вопрос задан
  • 81 просмотр
Подписаться 1 Простой Комментировать
Помогут разобраться в теме Все курсы
  • Stepik
    Selenium на Python за 3 часа
    1 неделя
    Далее
  • Учебный центр IBS
    SQA-050 Школа автоматизированного тестирования. Часть 2. Selenium WebDriver
    1 неделя
    Далее
  • Нетология
    Инженер по тестированию
    8 месяцев
    Далее
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы
от 100 000 до 150 000 ₽
ИТРУМ Ростов-на-Дону
от 75 000 ₽
от 120 000 до 240 000 ₽