Как можно спарсить ссылки меняющие последовательность используя Beautiful Soup?

Question

Sergey @Raschen

Beautiful Soup

Как можно спарсить ссылки меняющие последовательность используя Beautiful Soup?

===================================================
<html>
<div class="item">
  <div class="quality">SD</div>
  <div class="link"><a href>"http://link"</div>
<div class="item">
  <div class="quality">HD</div>
  <div class="link"><a href>"http://link"</div>
<div class="item">
  <div class="quality">FullHD</div>
  <div class="link"><a href>"http://link"</div>
</html>
===================================================
<html>
<div class="item">
  <div class="quality">SD</div>
  <div class="link"><a href>"http://link"</div>
<div class="item">
  <div class="quality">FullHD</div>
  <div class="link"><a href>"http://link"</div>
<div class="item">
  <div class="quality">HD</div>
  <div class="link"><a href>"http://link"</div>
</html>
===================================================
<html>
<div class="item">
  <div class="quality">FullHD</div>
  <div class="link"><a href>"http://link"</div>
<div class="item">
  <div class="quality">SD</div>
  <div class="link"><a href>"http://link"</div>
<div class="item">
  <div class="quality">HD</div>
  <div class="link"><a href>"http://link"</div>
</html>
===================================================

Как получить правильно ссылки от нужного класса "quality" если при каждом запросе последовательность вывода меняется выше привел пример вывода который нужно парсить

Вопрос задан более трёх лет назад
71 просмотр

Комментировать

Подписаться 1 Простой Комментировать

Пригласить эксперта

Ответы на вопрос 2

3 комментария

Sergey @Raschen Автор вопроса
меняются только item между собой местами то что внутри выделено остается статичным
<div class="item">
<div class="quality">SD</div> <div class="link"><a href>"http://link"
</div>

и не могу понять как вытаскивать ссылку опираясь на quality
Написано более трёх лет назад
datka @datka

Sergey, Опишите чего вы пытаетесь добиться в целом. то что они меняются это не имеет ни каково значения

Написано более трёх лет назад
soremix @SoreMix

Sergey, https://pythonworld.ru/tipy-dannyx-v-python/slovar...

Написано более трёх лет назад

2 комментария

Sergey @Raschen Автор вопроса

html = '''
<html>
<div class="item">
  <div class="quality">SD</div>
  <div class="link"><a href>"http://linksd"</div>
<div class="item">
  <div class="quality">HD</div>
  <div class="link"><a href>"http://linkhd"</div>
<div class="item">
  <div class="quality">FullHD</div>
  <div class="link"><a href>"http://linkfullhd"</div>
</html>
</tr>
'''

soup = BeautifulSoup(html, 'lxml')
items = soup.find_all('html')
for item in items:
    sd = item.find('div', class_='link').get_text()
    hd = item.find('div', class_='link').get_text()
    fhd = item.find('div', class_='link').get_text()
    q = {
        'SD': sd,
        'HD': hd,
        'FullHD': fhd
    }
print(q)

{'SD': '"http://linksd"', 'HD': '"http://linksd"', 'FullHD': '"http://linksd"'}

как правильно сделать?

Написано более трёх лет назад

datka @datka

Sergey,

from bs4 import BeautifulSoup

html = '''
<div class="item">
  <div class="quality">SD</div>
  <div class="link"><a href>"http://linksd"</div>
<div class="item">
  <div class="quality">HD</div>
  <div class="link"><a href>"http://linkhd"</div>
<div class="item">
  <div class="quality">FullHD</div>
  <div class="link"><a href>"http://linkfullhd"</div>
<div class="item">
  <div class="quality">SD2</div>
  <div class="link"><a href>"http://linksd"</div>
<div class="item">
  <div class="quality">HD2</div>
  <div class="link"><a href>"http://linksd"</div> 
<div class="item">
  <div class="quality">FullHD2</div>
  <div class="link"><a href>"http://linksd"</div>     
</html>
</tr>
'''

soup = BeautifulSoup(html, 'html.parser')
items = soup.find_all('div', class_='item')
q = {}
for item in items:
	ql = item.find('div', class_='quality').get_text()
	links = item.find('a').get_text()
	q[ql] = links
print(q)

а лучше киньте линк сайта...

Написано более трёх лет назад

Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы

Beautiful Soup

Простой
Нормально ли что парсинг занимает много оперативки?
- 2 подписчика
- 17 нояб.
- 221 просмотр
2

ответа
Beautiful Soup

+1 ещё

Простой
Как пройти капчу при методе POST?
- 1 подписчик
- 10 нояб.
- 142 просмотра
1

ответ
Beautiful Soup

Простой
Почему скачиваются миниатюры изображений вместо их полного размера?
- 1 подписчик
- 01 нояб.
- 158 просмотров
0

ответов
Beautiful Soup

Простой
Почему парсер не выдаёт нужный результат?
- 1 подписчик
- 07 авг.
- 109 просмотров
1

ответ
Beautiful Soup

Простой
Python BeautifulSoup почему не работает код?
- 1 подписчик
- 04 авг.
- 70 просмотров
0

ответов
Beautiful Soup

Простой
Парсится только часть страницы. Как парсить всю страницу?
- 1 подписчик
- 03 авг.
- 63 просмотра
2

ответа
Beautiful Soup

Средний
Проблема с парсингом сайта, кракозяблы и непонятные символы вместо HTML?
- 1 подписчик
- 26 июл.
- 107 просмотров
1

ответ
Selenium

+1 ещё

Простой
Не получается поиск данных через bs4, как чинить?
- 2 подписчика
- 16 июл.
- 91 просмотр
1

ответ
Регулярные выражения

+1 ещё

Простой
В чем преимущества bs4 перед регулярками?
- 1 подписчик
- 20 июн.
- 123 просмотра
1

ответ
Beautiful Soup

Простой
BeautifulSoup не видит ссылки сгенерированные django — что делать?
- 1 подписчик
- 31 мая
- 75 просмотров
1

ответ
Показать ещё Загружается…

SRE инженер

Автомакон • Москва

от 350 000 до 400 000 ₽

Инженер CI/CD

Автомакон • Москва

от 350 000 до 400 000 ₽

QA engineer

Wanted. • Москва

До 200 000 ₽

Развернуть OpenSource софт на сервере

23 нояб. 2024, в 17:32

5000 руб./за проект

Отрисовать дизайн веб-страницы генерации математических примеров

23 нояб. 2024, в 16:00

10000 руб./за проект

Сделать бот программу для браузерной игры

23 нояб. 2024, в 15:17

5000 руб./за проект

Answer 1 · 2020-10-21 12:01:27

А как вы понимаете, что нужная ссылка перед вами? Смотрите на название качества, и ссылку под ним? Почему другая логика должна быть в коде?

sources = {}
for item in items:
    quality = item.find('div', {'class': 'quality'}).text
    link = item.find('div', {'class': 'link'}).text
    sources[quality] = link

Answer 2 · 2020-10-21 11:16:37

Парстите в цикле <div class="item"> и находите линки <a href>"http://link"
Или на прямую парсите <div class="link">

Документация BS4

Как можно спарсить ссылки меняющие последовательность используя Beautiful Soup?

Войдите, чтобы написать ответ

Минуточку внимания

Войдите на сайт