@Semechka1290

Почему сохраняются не все картинки товаров?

import requests
from bs4 import BeautifulSoup

headers = {
    "User-Agent" : 
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36 Edg/114.0.1823.41"}

card_list = []

def dowland(url):
    resp = requests.get(url, stream=True)
    f = open("C:\\Users\\Man\\Desktop\\image\\" + url.split("/")[-1], 'wb')
    for value in resp.iter_content(1024*1024):
        f.write(value)
    f.close()

def get_url():
    for count in range(1, 8):
        url = "https://scrapingclub.com/exercise/list_basic/?page={count}" 
        responce = requests.get(url, headers=headers)
        soup = BeautifulSoup(responce.text, 'lxml')
        card_product = soup.find_all("div", class_ = "col-lg-4 col-md-6 mb-4") 

        for i in card_product:
            card_url = "https://scrapingclub.com" + i.find("a").get("href")
            yield card_url

for card_url in get_url():
    responce = requests.get(card_url, headers=headers)
    soup = BeautifulSoup(responce.text, 'lxml')

    card_product = soup.find("div", class_ = "card mt-4 my-4")
    card_text = card_product.find("p", class_ = "card-text").text
    card_title = card_product.find("h3", class_ = "card-title").text
    card_price = card_product.find("h4").text
    image_url = "https://scrapingclub.com" + card_product.find("img").get("src")
    dowland(image_url)

Я только недавно начал учится парсить на Питоне, и поэтомy много туплю и не понимаю.
Вот сейчас не понимаю почему не так работает, как надо, в ролике у чела все картинки с 7 страниц по 9 картинок(63 всего картинок) в папку скачалось, а у меня все также написан код функции dowland, но только 9 картинок с первой страницы, а остальных нет.
Помогите пожалуйста глупому новичку.
  • Вопрос задан
  • 28 просмотров
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы