Как можно спарсить ссылки меняющие последовательность используя Beautiful Soup?

Question

Sergey @Raschen

Beautiful Soup

Как можно спарсить ссылки меняющие последовательность используя Beautiful Soup?

===================================================
<html>
<div class="item">
  <div class="quality">SD</div>
  <div class="link"><a href>"http://link"</div>
<div class="item">
  <div class="quality">HD</div>
  <div class="link"><a href>"http://link"</div>
<div class="item">
  <div class="quality">FullHD</div>
  <div class="link"><a href>"http://link"</div>
</html>
===================================================
<html>
<div class="item">
  <div class="quality">SD</div>
  <div class="link"><a href>"http://link"</div>
<div class="item">
  <div class="quality">FullHD</div>
  <div class="link"><a href>"http://link"</div>
<div class="item">
  <div class="quality">HD</div>
  <div class="link"><a href>"http://link"</div>
</html>
===================================================
<html>
<div class="item">
  <div class="quality">FullHD</div>
  <div class="link"><a href>"http://link"</div>
<div class="item">
  <div class="quality">SD</div>
  <div class="link"><a href>"http://link"</div>
<div class="item">
  <div class="quality">HD</div>
  <div class="link"><a href>"http://link"</div>
</html>
===================================================

Как получить правильно ссылки от нужного класса "quality" если при каждом запросе последовательность вывода меняется выше привел пример вывода который нужно парсить

Вопрос задан более трёх лет назад
70 просмотров

Комментировать

Подписаться 1 Простой Комментировать

Пригласить эксперта

Ответы на вопрос 2

3 комментария

Sergey @Raschen Автор вопроса
меняются только item между собой местами то что внутри выделено остается статичным
<div class="item">
<div class="quality">SD</div> <div class="link"><a href>"http://link"
</div>

и не могу понять как вытаскивать ссылку опираясь на quality
Написано более трёх лет назад
datka @datka

Sergey, Опишите чего вы пытаетесь добиться в целом. то что они меняются это не имеет ни каково значения

Написано более трёх лет назад
soremix @SoreMix

Sergey, https://pythonworld.ru/tipy-dannyx-v-python/slovar...

Написано более трёх лет назад

2 комментария

Sergey @Raschen Автор вопроса

html = '''
<html>
<div class="item">
  <div class="quality">SD</div>
  <div class="link"><a href>"http://linksd"</div>
<div class="item">
  <div class="quality">HD</div>
  <div class="link"><a href>"http://linkhd"</div>
<div class="item">
  <div class="quality">FullHD</div>
  <div class="link"><a href>"http://linkfullhd"</div>
</html>
</tr>
'''

soup = BeautifulSoup(html, 'lxml')
items = soup.find_all('html')
for item in items:
    sd = item.find('div', class_='link').get_text()
    hd = item.find('div', class_='link').get_text()
    fhd = item.find('div', class_='link').get_text()
    q = {
        'SD': sd,
        'HD': hd,
        'FullHD': fhd
    }
print(q)

{'SD': '"http://linksd"', 'HD': '"http://linksd"', 'FullHD': '"http://linksd"'}

как правильно сделать?

Написано более трёх лет назад

datka @datka

Sergey,

from bs4 import BeautifulSoup

html = '''
<div class="item">
  <div class="quality">SD</div>
  <div class="link"><a href>"http://linksd"</div>
<div class="item">
  <div class="quality">HD</div>
  <div class="link"><a href>"http://linkhd"</div>
<div class="item">
  <div class="quality">FullHD</div>
  <div class="link"><a href>"http://linkfullhd"</div>
<div class="item">
  <div class="quality">SD2</div>
  <div class="link"><a href>"http://linksd"</div>
<div class="item">
  <div class="quality">HD2</div>
  <div class="link"><a href>"http://linksd"</div> 
<div class="item">
  <div class="quality">FullHD2</div>
  <div class="link"><a href>"http://linksd"</div>     
</html>
</tr>
'''

soup = BeautifulSoup(html, 'html.parser')
items = soup.find_all('div', class_='item')
q = {}
for item in items:
	ql = item.find('div', class_='quality').get_text()
	links = item.find('a').get_text()
	q[ql] = links
print(q)

а лучше киньте линк сайта...

Написано более трёх лет назад

Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации

Похожие вопросы

Python

+3 ещё

Простой
Как спарсить то что находится под br?
- 1 подписчик
- 03 апр.
- 110 просмотров
1

ответ
Python

+4 ещё

Простой
При парсинг в учебных заданий ajax данных выдаем Response 403, что сделать, чтобы получить данные?
- 1 подписчик
- 03 мар.
- 72 просмотра
0

ответов
Python

+2 ещё

Простой
Как достать ссылки на страницы при парсинге?
- 1 подписчик
- 27 февр.
- 110 просмотров
2

ответа
Python

+2 ещё

Простой
Как исправить ошибку invalid literal for int() with base 10: '0 из 90'?
- 1 подписчик
- 12 февр.
- 63 просмотра
1

ответ
Beautiful Soup

+1 ещё

Простой
Как на странице найти определенный текст requests?
- 1 подписчик
- 18 янв.
- 31 просмотр
1

ответ
Beautiful Soup

+1 ещё

Простой
Как найти текст по xpath в requests?
- 1 подписчик
- 17 янв.
- 32 просмотра
1

ответ
Beautiful Soup

Простой
Как получить тег из закомментированного блока?
- 1 подписчик
- 09 янв.
- 32 просмотра
1

ответ
Python

+2 ещё

Простой
В чем ошибка Python хостинг?
- 1 подписчик
- 12 дек. 2023
- 105 просмотров
1

ответ
Python

+2 ещё

Простой
Не работает парсер на pyhton bs4, что делать?
- 1 подписчик
- 20 нояб. 2023
- 117 просмотров
1

ответ
Selenium

+1 ещё

Простой
Почему парсер считывает всегда рандомное число обьявлений у пользователя, и как сделать так чтобы он мог нормально их считыывать?
- 1 подписчик
- 13 нояб. 2023
- 60 просмотров
1

ответ
Показать ещё Загружается…

DevOps Engineer

DBI

от 40 000 ₽

Fullstack разработчик

YouGile

от 300 000 ₽

Системный администратор

Глобал Смарт Системс • Санкт-Петербург

от 100 000 до 120 000 ₽

Сделать ретопологию 3D моделей в Blender

25 апр. 2024, в 15:13

3000 руб./за проект

Тестирование безопасности веб-приложения

25 апр. 2024, в 15:13

100000 руб./за проект

Требуется разработка ботов для авторизации сбора информации

25 апр. 2024, в 15:07

100000 руб./за проект

Answer 1 · 2020-10-21 12:01:27

А как вы понимаете, что нужная ссылка перед вами? Смотрите на название качества, и ссылку под ним? Почему другая логика должна быть в коде?

sources = {}
for item in items:
    quality = item.find('div', {'class': 'quality'}).text
    link = item.find('div', {'class': 'link'}).text
    sources[quality] = link

Answer 2 · 2020-10-21 11:16:37

Парстите в цикле <div class="item"> и находите линки <a href>"http://link"
Или на прямую парсите <div class="link">

Документация BS4

Как можно спарсить ссылки меняющие последовательность используя Beautiful Soup?

Войдите, чтобы написать ответ

Минуточку внимания

Войдите на сайт