Обращаюсь к тем кто часто пишет парсеры, есть один ресурс с которогр я пробую получить данныые, пробовал с помощью с bs4 но без успешно... сегодня решил попробовать с помощью selenium(юзаю его форк так как в оригинале нельзя менять заголовки..) хотя пробовал и оригинал все тоже самое.
Вообщем получаю всегда одно и тоже сообщение о блокировке, подскажите как быть?
You have been blocked.....
Как пробую:
#!/usr/bin/env python3
from seleniumwire import webdriver
driver = webdriver.Firefox()
url='https://leboncoin.fr'
driver.header_overrides = [(url, {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36"})]
driver.get(url)
for request in driver.requests:
if request.response:
#print(request.path, request.response.status_code, request.response.headers['Content-Type'])
print(str(request.response))