@Yura_nu_davai_rabotai
Изучаю с++ примерно 2 месяца

Python requests, при выводе всего сайта выводит body и после него: Request unsuccessful. Как пофиксить?

После вывода soup выводиться :

Request unsuccessful. Incapsula incident ID: 534000470010449392-29143315938413509
И в конце:Request unsuccessful. Incapsula incident ID: 534000470010449392-29143315938413509 Поэтому я постоянно не могу компилировать код, то оно качает сайт, то нет. Уже и прокси подлючил, думал , что банят ботов, но ничего не прикратилось

import requests

from bs4 import BeautifulSoup

http_proxy  = "http://128.199.239.230:8080"

proxyDict = {
              "http"  : http_proxy
            }

url = "https://eldorado.ua/uk/vytjazhka-gunter-hauer-agna-600-gl/p71226038/"
Headers = {"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36", "accept": "*/*"}

def get_html(url , params=None):
    r = requests.get(url, headers = Headers, params = params, proxies = proxyDict)
    return r

def get_content(html):
    soup = BeautifulSoup(html, "html.parser")
    print(soup)
    items_e = soup.find_all("div", class_="product-head-text")

def parse ():
    html = get_html(url)
    if html.status_code == 200:
        get_content(html.text)
    else:
        print("Error")

if __name__ == '__main__':
    parse()
  • Вопрос задан
  • 60 просмотров
Решения вопроса 1
ak545
@ak545
https://github.com/ak545
from selenium import webdriver

driver = webdriver.Firefox()
# driver = webdriver.Chrome()
url = 'https://eldorado.ua/uk/vytjazhka-gunter-hauer-agna-600-gl/p71226038/'
driver.get(url)
html = driver.page_source
driver.quit()

print(html)

60ee307667c72496351911.png
Ответ написан
Пригласить эксперта
Ответы на вопрос 2
SoreMix
@SoreMix Куратор тега Python
yellow
Инкапсула - популярный cdn, с защитой от ботов, ддоса и прочего. Собственно, защищает сайт от подобного.
Разве что искать обходы / писать свои
Ответ написан
@Yura_nu_davai_rabotai Автор вопроса
Изучаю с++ примерно 2 месяца
Я так понимаю, что писать свой обход сложно , поэтому другого решения нету ?
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы