Возможно ли извлечь информацию из блоков, объединенных одним классом, при парсинге сайта?

Question

[Lim_Drake]

Здравствуйте! Я хочу написать парсер сайта Циан (https://cian.ru/), пишу на Python, использую BeautifulSoup.
Столкнулся с такой проблемой, что под одним классом, в нескольких блоках лежит нужная мне информация( прикладываю скрин, если я неверно сформулировал проблему)

Используя селектор по данному классу:

address_block = item.select_one('div._93444fe79c--labels--1J6M3')

Получаю подобные результаты:

<div class="_93444fe79c--labels--1J6M3">
<a class="_93444fe79c--link--10mjQ" data-name="GeoLabel" href="https://saransk.cian.ru/kupit-kvartiru-mordoviya/" target="_blank">Республика Мордовия</a>, 
<a class="_93444fe79c--link--10mjQ" data-name="GeoLabel" href="https://saransk.cian.ru/kupit-kvartiru/" target="_blank">Саранск</a>, 
<a class="_93444fe79c--link--10mjQ" data-name="GeoLabel" href="https://saransk.cian.ru/kupit-kvartiru-mordoviya-saransk-oktyabrskiy-044297/" target="_blank">р-н Октябрьский</a>, 
<a class="_93444fe79c--link--10mjQ" data-name="GeoLabel" href="https://saransk.cian.ru/kupit-kvartiru-mordoviya-saransk-volgogradskaya-ulica-0231169/" target="_blank">Волгоградская улица</a>, 
<a class="_93444fe79c--link--10mjQ" data-name="GeoLabel" href="/cat.php?deal_type=sale&amp;engine_version=2&amp;house%5B0%5D=2192661&amp;offer_type=flat" target="_blank">124</a></div>

Если же я использую селектор по классу под тэгом 'a', то я получаю только информацию 1 блока с таким классом(Я получу только данную строку: 'Республика Мордовия')
Возможно ли обработать это, чтобы я получил полную информацию адреса?
P.S. Прошу сильно не бить, я только начинаю изучать эту область. Также прошу прощения, если мой вопрос некорректен!

Comments

[Alex]

Чисто наугад:
возможно ли что item.select_one возвращает только один элемент? В таком случае вам нужно что-то в духе
item.select_all('div._93444fe79c--labels--1J6M3 a')

[Lim_Drake]

Alex, есть метод item.select, который и выполняет ту функцию, которую вы описали(находит все элементы под тэгом a), конкретно

address_block = item.select('div._93444fe79c--labels--1J6M3 a')

Возвращает вот такие результаты:

[<a class="_93444fe79c--link--10mjQ" data-name="GeoLabel" href="https://saransk.cian.ru/kupit-kvartiru-mordoviya/" target="_blank">Республика Мордовия</a>, 
<a class="_93444fe79c--link--10mjQ" data-name="GeoLabel" href="https://saransk.cian.ru/kupit-kvartiru/" target="_blank">Саранск</a>, 
<a class="_93444fe79c--link--10mjQ" data-name="GeoLabel" href="https://saransk.cian.ru/kupit-kvartiru-mordoviya-saransk-leninskiy-044296/" target="_blank">р-н Ленинский</a>, 
<a class="_93444fe79c--link--10mjQ" data-name="GeoLabel" href="https://saransk.cian.ru/kupit-kvartiru-mordoviya-saransk-ulica-ulyanova-0231362/" target="_blank">улица Ульянова</a>, 
<a class="_93444fe79c--link--10mjQ" data-name="GeoLabel" href="/cat.php?deal_type=sale&amp;engine_version=2&amp;house%5B0%5D=2040440&amp;offer_type=flat" target="_blank">89</a>]

Вот скрин:
Если я правильно понимаю, она мне возвращает список, и обработать результат методом get_text() я уже не смогу, потому что у списков его нет. Вероятно мне нужно будет использовать регулярные выражения, для того чтобы выудить нужную мне информацию из данного списка.

[Alex]

Lim_Drake, А разве вы не можете просто перебрать этот список?

[Lim_Drake]

Alex, большое спасибо за идею, мне кажется я подобрался к решению, я действительно смог перебрать список, далее я выяснил, что к каждому элементу я уже могу применить метод get_text(), соответственно мне осталось соединить по 5 элементов в одну строку по каждому адресу.
Вот скрин результата:

Позже, постараюсь оформить ответ

[Евгений Палыч]

Можно применить get_text() и к результату из вашего вопроса

address_block = item.select_one('div._93444fe79c--labels--1J6M3')
print(address_block.get_text(" "))

# для всех div на странице с классом _93444fe79c--labels--1J6M3
address_blocks = item.select('div._93444fe79c--labels--1J6M3')

for e in address_blocks:
  print(e.get_text(" "))

[Lim_Drake]

Евгений Палыч, спасибо большое за решение, именно то, что мне нужно

Answer 1

[Lim_Drake]

Решение предоставил Евгений Палыч чуть выше в комментариях к посту

address_block = item.select_one('div._93444fe79c--labels--1J6M3')
print(address_block.get_text(" "))

# для всех div на странице с классом _93444fe79c--labels--1J6M3
address_blocks = item.select('div._93444fe79c--labels--1J6M3')

for e in address_blocks:
  print(e.get_text(" "))

Answer 2

[Евгений Палыч]

Посмотрите документацию BeautifulSoup там много примеров.

Comments

[Lim_Drake]

Спасибо за ссылку на документацию, посмотрел, похоже, что я нашел решение, но появилась другая проблема, уже с обработкой результата, который вернул мне метод(Если интересно, я постарался описать чуть выше в комментариях)

Answer 3

[Nikita Undefined]

Не шарю питон и эту либу, но попробую предположить:

address_block = item.select_one('div._93444fe79c--labels--1J6M3 a')

Comments

[Lim_Drake]

Это работает, но я описал это в своём вопросе, что мне возвращает только первый элемент под тэгом a
Вот результаты: