Как получить данные из блока div в который записываются из JS?

Question

[Дмитрий Белый]

Здравствуйте. Я изучаю python, заинтересовал парсинг элементов. Суть вопроса, как получить данные из блока div в которые генерируются через JS. Я получал данные из элементов, через BeautifulSoup и все получалось. Но при попытке получать данные из блока, я получал либо None либо []. Пример: Идет трансляция на ютуб, под прямой трансляцией есть блок: Сейчас смотрят n-е количество зрителей. Вот как получить эти цифры? Извиняюсь за неточности, надеюсь донес суть вопроса. Заранее спасибо.

Answer 1

[Сергей Карбивничий]

BeautifulSoup на YouTube вам не поможет(хотя можно получить страницу с помощью selenium, а дальше разбирать её с помощью BeautifulSoup - но это уже другая история)
На страницах YouTube данных хранятся в Json. Их можно оттуда вырезать и работать с ними как с json. Можно попробовать банально искать с помощью питоновской функции find:
(Да простят меня питонисты за данный код))
Я не говорю что это правильно, и так нужно делать, но работает, и на том спасибо.

import requests

headers = {'user-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:72.0) Gecko/20100101 Firefox/72.0',
			'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8'
}
url = 'https://www.youtube.com/watch?v=pSWOcXg703s'

response = requests.get(url,headers=headers)
html = response.text
first_1 = html.find('og:title" content="')+19
second_2 = html.find('">',first_1)
title = html[first_1:second_2]

first = html.find('videoViewCountRenderer')+72
second = html.find('"}]}',first)
views = html[first:second]

first_ = html.find('likeStatus":"INDIFFERENT","tooltip"')+37
second_ = html.find('"}},',first_)
likes = html[first_:second_].replace(' ','').split('/')

print(f'Название видео: {title}')
print(f'Сейчас смотрят: {views}')
print(f'Лайков: {likes[0]}')
print(f'Дизлайков: {likes[1]}')

На выходе:

Название видео: Elon Musk Live: Bitcoin BTC Talk, BTC Mass Adoption & SpaceX update [April, 2020]
Сейчас смотрят: 59 365
Лайков: 2 542
Дизлайков: 153

Comments

[Дмитрий Белый]

Спасибо, работает. Не задумывался о OpenGraph, спасибо! Теперь что я не понял:
1. в first_1 ' " - это специально или просто так получилось?
2. html.find('">', first_1) - почему именно такие атрибуты?
3. first_ 'likestatys":"INDIFERENT" - искал по элементам, нашел только полный кусок кода script. Если сайт поменяется, как понять, какие переменные мненадо искать?
Заранее спасибо

[Сергей Карбивничий]

Дмитрий Белый, Приветствую. В данном примере я использовал дедовский метод 'парсинга' времён delphi7) Суть данного метода заключается в том, что если нам нужно найти например, число просмотров, мы ищем это число в html. Далее ищем любое слово(или набор слов и символов) перед этим числом(главное, чтобы оно было без повторов) и записываем в переменную позицию данного слова(или слов). Далее ищем после числа просмотров несколько символов(главное начать поиск с предыдущей позиции) и записываем во вторую переменную. Потом со всего html вырезаем текст, начиная с позиции указанной в первой переменной(плюс количество искомых символов) и до позиции со второй переменной.

Все атрибуты(или метки), которые я искал в html, это первые попавшийся и я их брал без раздумывая.
Вух, както так)

[Сергей Карбивничий]

Дмитрий Белый, Если не понятно, или будут вопросы, можете написать в телегу.

[Сергей Карбивничий]

Дмитрий Белый, Также почитайте комментарии под моим ответом здесь А здесь я набросал заметку, когда помогал. Там тоже есть что-то интересное.

[Дмитрий Белый]

Сергей Карбивничий, Спасибо вам за разложенное объяснение! Обязательно, стараюсь вообще сам находить информацию, но про такое не нашел. Обязательно прочту.