Python. BeautifulSoup. Как перебрать все элементы?

Question

[Игорь Раскин]

Подскажите плиз как в print вывести все значения
class="FPmhX notranslate TlrDj" title=" вот это надо "
и текст span
то есть просто принтов вывести по очереди все значения title \n + текст span
Я не понимаю как сделать for to do, while или как тут положено :(

#http://qaru.site/questions/16889278/beautiful-soup-find-is-returning-none
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import requests, re, json
import codecs
import sys
import logging
logging.basicConfig(format = '%(asctime)s : %(levelname)s : %(message)s', level = logging.DEBUG)
# -*- coding: utf-8 -*-
def main():
    options = Options()
    options.add_argument("--headless")
    driver = webdriver.Chrome(
        options=options, executable_path="C:\Python37\Laba\chromedriver.exe"
    )
    try:
        driver.get("https://www.instagram.com/p/BvWM5KOnaQl/")
        soup = BeautifulSoup(driver.page_source, "lxml")
        class_k59kT=soup.find("ul", {"class": "k59kT"})
        print(str(class_k59kT.find('h3').a.get('title')))
    finally:
        driver.quit()
if __name__ == "__main__":
    main()

Answer 1

[datka]

from bs4 import BeautifulSoup

soup = BeautifulSoup("""
	<li class="K823gt" role="menuitem">
		<span> text 1 </span>
	</li>
	<li class="x65HGs" role="menuitem">
		<span> text 2 </span>
	</li>	
	<li class="OPZe6g" role="menuitem">
	<span> text 3 </span>
	</li>
	""", "html.parser")

span_data = soup.find_all("li", {"role":"menuitem"})

for x in span_data:
	x.find("span")
	print(x.text)

Comments

[Игорь Раскин]

Спасибо большое.

spoiler

from bs4 import BeautifulSoup
soup = BeautifulSoup("""
<ul class="k59kT">

                <li class="gElp9 " role="menuitem">

                               <div class="P9YgZ">

                                               <div class="C7I1f X7jCj">

                                                               <div class="C4VMK">

                                                                              <h3 class="_6lAjh">

     </spoiler>                                                                                         <a class="FPmhX notranslate TlrDj" title="ХОЗЯИН_ТЕКСТА_ОДИН" href="/ХОЗЯИН_ТЕКСТА_ОДИН/">ХОЗЯИН_ТЕКСТА_ОДИН</a>

                                                                              </h3>

                                                                              <span>НУЖНЫЙ_ТЕКСТ1</span>

                                                               </div>

                                               </div>

                               </div>

                </li>

                <li class="gElp9 " role="menuitem">

                               <div class="P9YgZ">

                                               <div class="C7I1f X7jCj">

                                                               <div class="C4VMK">

                                                                              <h3 class="_6lAjh">

                                                                                              <a class="FPmhX notranslate TlrDj" title="ХОЗЯИН_ТЕКСТА_ДВА" href="/ХОЗЯИН_ТЕКСТА_ДВА/">ХОЗЯИН_ТЕКСТА_ДВА</a>

                                                                              </h3>

                                                                              <span>НУЖНЫЙ_ТЕКСТ2</span>

                                                               </div>

                                               </div>

                               </div>

                </li>

                <li class="gElp9 " role="menuitem">

                               <div class="P9YgZ">

                                               <div class="C7I1f X7jCj">

                                                               <div class="C4VMK">

                                                                              <h3 class="_6lAjh">

                                                                                              <a class="FPmhX notranslate TlrDj" title="ХОЗЯИН_ТЕКСТА_ТРИ" href="/ХОЗЯИН_ТЕКСТА_ТРИ/">ХОЗЯИН_ТЕКСТА_ТРИ</a>

                                                                              </h3>

                                                                              <span>НУЖНЫЙ_ТЕКСТ3</span>

                                                               </div>

                                               </div>

                               </div>

                </li>

</ul>

""", "html.parser")

span_data = soup.find_all("div", {"class": "C4VMK"})

for x in span_data:
    span_text = x.find("span")
    name_text = x.find("a")
    # print(x.text)
    print(name_text.text)
    print(span_text.text)

[datka]

Игорь Раскин, сsoup.find_all("div", {"class": "C4VMK"}) вы привязыветесь к конкретному тегу. Если вам понадобиться парсить другую ссылку то вам придется вручную вписывать каждый раз название класса. Для небольшой автоматизации лучше использовать soup.find_all("li", {"role": "menuitem"})
Хоть и<li class="gElp9 " role="menuitem"> есть тег class="gElp9 " но мы его пропускаем.
Попробуйте так.

spoiler

span_data = soup.find_all("li", {"role": "menuitem"})


for x in span_data:
  span_text = x.find("span")
  name_text = x.find("a")
  print(name_text.get_text())
  print(span_text.get_text())

Таким будет ваш результат :
ХОЗЯИН_ТЕКСТА_ОДИН
НУЖНЫЙ_ТЕКСТ1
ХОЗЯИН_ТЕКСТА_ДВА
НУЖНЫЙ_ТЕКСТ2
ХОЗЯИН_ТЕКСТА_ТРИ
НУЖНЫЙ_ТЕКСТ3