Python. BeautifulSoup. json. Как достать данные?

Question

[Игорь Раскин]

Подскажите плиз как распечатать значение tittle= в коде ниже со странички по ссылке?



И еще как получить все, что начинается с класса k59kT в json формате?
Спасибо.

from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
def main():
    options = Options()
    options.add_argument("--headless")
    driver = webdriver.Chrome(
        options=options, executable_path="C:\Python37\Laba\chromedriver.exe"
    )
    try:
        driver.get("https://www.instagram.com/p/BvWM5KOnaQl/")
        soup = BeautifulSoup(driver.page_source, "lxml")
        class_k59kT=soup.find("ul", {"class": "k59kT"})
        print ("???")
    finally:
        driver.quit()
if __name__ == "__main__":
    main()

Answer 1

[AWEme]

Подскажите плиз как распечатать значение tittle= в коде ниже со странички по ссылке?

Зацепиться за нужный тэг и tag.get('title')
Так же рекомендую немного дополнить ссылку https://www.instagram.com/p/BvWM5KOnaQl/?__a=1, там может оказаться много интересного.

Comments

[Игорь Раскин]

?__a=1
Эта штука меня и подвела. Инстаграм не выдает через нее все данные, а выдает только то, что считает нужным урезая половину сообщений. Сравните код полученный через браузер - поле комментариев с тем, что выдается через ?__a=1. У меня все было написано как раз для работы через ?__a=1, но инстаграм показал мне, что ?__a=1, только для теста, а не для реального использования.

tag.get('title') - мне никак не помогает, мне надо или полную строку или где почитать про это, чтобы я допер как составить полную строку запроса.

[AWEme]

Игорь Раскин,
class_k59kT.find('h3').a.get('title')
Но когда инстаграм поменяет имена классов, всё сломается. Парсить сайты селениумом - ну такое на самом деле.
Обратите внимание на этот пакет, там есть поинтеры - места, с которых инстаграм будет выдавать следующие порции контента. Так же в этом пакете всё работает через реквестовские сессии, всяко быстрее селениума.

[Игорь Раскин]

AWEme, Спасибо потом посмотрю, что это за либа.
А по поводу кода title, получил. спасибо. Только пока не понял почему он берет не первый входящий элемент страницы, а откуда то чуть ниже вытащил. Мне в принципе все надо проверять, но все равно странно, не вижу логики.