import requests
from bs4 import BeautifulSoup
headers = {
"User-Agent" :
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36 Edg/114.0.1823.41"}
card_list = []
def dowland(url):
resp = requests.get(url, stream=True)
f = open("C:\\Users\\Man\\Desktop\\image\\" + url.split("/")[-1], 'wb')
for value in resp.iter_content(1024*1024):
f.write(value)
f.close()
def get_url():
for count in range(1, 8):
url = "https://scrapingclub.com/exercise/list_basic/?page={count}"
responce = requests.get(url, headers=headers)
soup = BeautifulSoup(responce.text, 'lxml')
card_product = soup.find_all("div", class_ = "col-lg-4 col-md-6 mb-4")
for i in card_product:
card_url = "https://scrapingclub.com" + i.find("a").get("href")
yield card_url
for card_url in get_url():
responce = requests.get(card_url, headers=headers)
soup = BeautifulSoup(responce.text, 'lxml')
card_product = soup.find("div", class_ = "card mt-4 my-4")
card_text = card_product.find("p", class_ = "card-text").text
card_title = card_product.find("h3", class_ = "card-title").text
card_price = card_product.find("h4").text
image_url = "https://scrapingclub.com" + card_product.find("img").get("src")
dowland(image_url)
Я только недавно начал учится парсить на Питоне, и поэтомy много туплю и не понимаю.
Вот сейчас не понимаю почему не так работает, как надо, в ролике у чела все картинки с 7 страниц по 9 картинок(63 всего картинок) в папку скачалось, а у меня все также написан код функции dowland, но только 9 картинок с первой страницы, а остальных нет.
Помогите пожалуйста глупому новичку.