Как выдернуть весь текст из всех div с одинаковым классом?

Question

[onepunchman404]

Есть парсер, который берет информацию с магазина одежды. Так вот мне нужно взять размеры, все размеры разбросаны по нескольким дивам с одинаковым классов, как мне все их спарсить? Использую библиотеки BeautifulSoup и requests. Я понимаю, что можно сделать что-то типо этого:
item.find_all[0]('a', class_='products-list-item__size-item link') + item.find_all[1]('a', class_='products-list-item__size-item link') ,
но нужен более универсальный вариант, который сам определял бы количество этих размеров и брал их всех

def get_content(html):
    soup = BeautifulSoup(html, 'html.parser')
    items = soup.find_all('div', class_='products-list-item')

    link = []
    for item in items:
        link.append({
            'Link': HOST + item.find('a', class_='link').get('href'),
            'Size': item.find_all('a', class_='products-list-item__size-item link')
        })
    print(link)
    return link


Сейчас выдает вот эту кашу 'Size': [<a class="products-list-item__size-item link" data-link="/p/ma178ewyyl56/clothes-marksspencer-komplekt/?sku=ma178ewyyl56b100">44</a>, <a class="products-list-item__size-item link" data-link="/p/ma178ewyyl56/clothes-marksspencer-komplekt/?sku=ma178ewyyl56b120">46</a> ......

Comments

[Сергей Карбивничий]

Дайте ссылку, не на чём попробовать.

[onepunchman404]

На сайт, который парсится? Ламода - https://www.lamoda.ru/c/355/clothes-zhenskaya-odez...

[Сергей Карбивничий]

onepunchman404, Ща гляну.

[Сергей Карбивничий]

Если я правильно понял, тогда:

items = catalog.find_all('div',class_='products-list-item') # Ищем все карточки товаров
	
	for item in items:
		brand = item.find('span',class_='products-list-item__type').text.strip() # От сюда забираем бренд(для примера взял)
		listSizes = [] # Пустой список, в который будем добавлять размеры.
		all_sizes = item.find('div',class_='products-list-item__sizes') #В этом div хранятся ссылки с тестом размеров.
		sizes = all_sizes.find_all('a')	# Ищем все ссылки
		for x in sizes:
			listSizes.append(x.text)	# Достаём из ссылок текст(там просто цыфры)
		vse_razmery = ','.join(listSizes)		# Делаем из списка строку

		print(brand+' - '+vse_razmery)

[Сергей Карбивничий]

onepunchman404, Только сейчас нет фантазии называть переменные, так как прямо сейчас парсю на заказ алик.

[Сергей Карбивничий]

onepunchman404, Если не то, или непонятно, дайте знать.

[onepunchman404]

Сергей Карбивничий, Спасибо!

Answer 1

[Amigun]

Через requests получаем нужную страничку:
response = requests.get('тут_ваша_ссылка')
Надеюсь, вы знаете как это делается.
Дальше в бой идет bs4.
soup = BeautifulSoup(response.content, 'lxml')
Теперь создадим цикл for для перебора ВСЕХ (вы же этого хотели, да?) тегов, и будем выдергивать из них текст, если у него имеется нужный нам класс.

for i in soup.recursiveChildGenerator():
		if i.name:
			if i.name == 'a':  # У вас на скрине показан тег a
				try:
					if i.attrs['class']:
						if i.attrs['class'] == 'нужный_вам_тег':
						# Если выше не работает, то попробуйте следующий вариант
						# if i.attrs['class'] == ['нужный_вам_тег']:
							return i.text
						else:
							pass
				except KeyError:
					pass

По идее, это должно работать, но я не тестировал это на вашем сайте.
Пробуйте, делайте.
Если что подробнее можете почитать тут