Как спарсить эту ссылку?

Question

[Константин]

Нужно спарсить ссылку на страницу для каждой пары https://www.lamoda.ru/c/5972/shoes-muzhkedy/?sitel...
много раз это делал, а тут не получается

import json
import requests
from bs4 import BeautifulSoup

headers ={
    "accept": "*/*",
    "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36" ,
  
}
def get_page(url):
    req = requests.get(url,headers = headers)
    src =req.text
    #print(src) 

    with open("lamoda2.html", "w") as file:
        file.write(src) 

    soup = BeautifulSoup(src,"lxml")

    cards = soup.find("div", class_="x-product-card__card").find("div", class_="x-product-card__link x-product-card__hit-area").find("a",class_=" x-product-card__pic x-product-card__pic-catalog").get("href")
    print(cards)
    

def main():
    get_page(url="https://www.lamoda.ru/c/5972/shoes-muzhkedy/?sitelink=topmenuM&l=4&brands=1061,1163,4035,5816,2047,1107&page=1")
    
    

if __name__ == "__main__":
    main()

ошибка

File "c:/Users/Константин/Downloads/dodit/tgparser.py", line 20, in get_page
    cards = soup.find("div", class_="x-product-card__card").find("div", class_="x-product-card__link x-product-card__hit-area").find("a",class_=" x-product-card__pic x-product-card__pic-catalog").get("href")
AttributeError: 'NoneType' object has no attribute 'find'

заранее спасибо

Comments

[mayton2019]

А что у тебя покажет

print(dir(BeautifulSoup())

?

[Константин]

mayton2019, подскажите,куда именно это нужно вставить?

[mayton2019]

robocop45, забей уже не надо. У тебя есть длинная колбаса.

soup.find("div", class_="x-product-card__card").find("div", class_="x-product-card__link x-product-card__hit-area").find("a",class_=" x-product-card__pic x-product-card__pic-catalog").get("href")

и в этой колбасе какой-то из find() ничего не находит.

Найди сам какой. Вот это и будет ответ на вопрос.

Answer 1

[Elvis]

Потому что find ищет первый попавшийся по коду.
soup.find("div", class_="x-product-card__card")
находит первый div

.find("div", class_="x-product-card__link x-product-card__hit-area")

Этот find ищет в первом попавшемся div другой div с классами "x-product-card__link x-product-card__hit-area", но не находит. почему? потому что этот класс есть только у тега a
Вот и исключение вылетает.
то что у вас на скрине вместо a написан div - скорее всего приобразование скриптов, либо не ту ссылку дали. смотрите что у вас в req.text возвращается.

Comments

[Константин]

я вас правильно понял?

cards = soup.find("div", class_="x-product-card__link x-product-card__hit-area").find("a",class_="x-product-card__link x-product-card__hit-area")
    print(cards.text)

[Elvis]

robocop45, не совсем получилось. беглым взглядом достаточно такого:

cards = soup.find("a", class_="x-product-card__link x-product-card__hit-area").get("href")

[Elvis]

но это найдет только первый элемент. чтобы все - нужно так:

cards = soup.find_all("a", class_="x-product-card__link x-product-card__hit-area")
for card in cards:
    print(card.get('href'))

[Константин]

Elvis, спасибо, вы мой спаситель. позже изучу код подробнее /p/rtlabf417001/shoes-adidasoriginals-kedy/ попробуйте по ней прейти, у вас врядли получится, как и у меня, что делать?

[Константин]

Elvis, все,все,я нашел рещение проблемы, просто в начале ставишь https://www.lamoda.ru/ и все, осталось это в код добавить