Python requests, при выводе всего сайта выводит body и после него: Request unsuccessful. Как пофиксить?

Question

[Yurii Abraham]

После вывода soup выводиться :

Request unsuccessful. Incapsula incident ID: 534000470010449392-29143315938413509
И в конце:Request unsuccessful. Incapsula incident ID: 534000470010449392-29143315938413509 Поэтому я постоянно не могу компилировать код, то оно качает сайт, то нет. Уже и прокси подлючил, думал , что банят ботов, но ничего не прикратилось

import requests

from bs4 import BeautifulSoup

http_proxy  = "http://128.199.239.230:8080"

proxyDict = {
              "http"  : http_proxy
            }

url = "https://eldorado.ua/uk/vytjazhka-gunter-hauer-agna-600-gl/p71226038/"
Headers = {"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36", "accept": "*/*"}

def get_html(url , params=None):
    r = requests.get(url, headers = Headers, params = params, proxies = proxyDict)
    return r

def get_content(html):
    soup = BeautifulSoup(html, "html.parser")
    print(soup)
    items_e = soup.find_all("div", class_="product-head-text")

def parse ():
    html = get_html(url)
    if html.status_code == 200:
        get_content(html.text)
    else:
        print("Error")

if __name__ == '__main__':
    parse()

Answer 1

[ak545]

from selenium import webdriver

driver = webdriver.Firefox()
# driver = webdriver.Chrome()
url = 'https://eldorado.ua/uk/vytjazhka-gunter-hauer-agna-600-gl/p71226038/'
driver.get(url)
html = driver.page_source
driver.quit()

print(html)

Comments

[Yurii Abraham]

Это получается , что сайт будет скачиваться через Chrome или FireFox, но у меня этот парсер будет в качестве бота висеть на хостинге, он будет работать? И можно ли с вами связаться через соцсети ?

[ak545]

Yurii Abraham, если на хостинге поставить какой-то из браузеров - да. Правда, боюсь, установка браузера потянет за собой кучу других GUI-зависимостей. Всё таки браузеры разрабатывались для визуализации информации.

Чтобы не запускать браузеры в режиме GUI их обычно запускают с дополнительными параметрами, типа headless.
Ниже примеры

Если FireFox
pip install selenium
Драйвера: https://github.com/mozilla/geckodriver/releases

from selenium import webdriver
from selenium.webdriver.firefox.options import Options

options = Options()
options.add_argument('--headless')
options.add_argument('--disable-gpu')
options.add_argument('--hide-scrollbars')
driver = webdriver.Firefox(options=options)
url = 'https://eldorado.ua/uk/vytjazhka-gunter-hauer-agna-600-gl/p71226038/'
driver.get(url)
html = driver.page_source
driver.quit()
print(html)

Если Chrome (надо сперва узнать какой версии)
pip install selenium
Драйвера: https://sites.google.com/a/chromium.org/chromedriv...

Драйвера можно ставить руками или сразу из скрипта, например, при помощи этого пакета (это справедливо и для FireFox):
pip install webdriver-manager

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from webdriver_manager.chrome import ChromeDriverManager

options = Options()
options.add_argument('--headless')
options.add_argument('--disable-gpu')
driver = webdriver.Chrome(
    ChromeDriverManager(version="91.0.4472.19").install(), 
    options=options
)
url = 'https://eldorado.ua/uk/vytjazhka-gunter-hauer-agna-600-gl/p71226038/'
driver.get(url)
html = driver.page_source
driver.quit()
print(html)

И есть ещё и другие пути (типа Selenium Server или PhantomJS), но они устарели и не рекомендуются для использования разработчиками Selenium.
И да, под Chrome обойти защиту не удалось (разбираться не стал).
"Из коробки" работает только под FireFox.

P.S. Общаться в социальных сетях желания нет.

Answer 2

[soremix]

Инкапсула - популярный cdn, с защитой от ботов, ддоса и прочего. Собственно, защищает сайт от подобного.
Разве что искать обходы / писать свои

Answer 3

[Yurii Abraham]

Я так понимаю, что писать свой обход сложно , поэтому другого решения нету ?