Как получить данные с динамического сайта ( Python, BeautifulSoup, Selenium )?

Question

[Борислав]

Всем доброго времени суток! Заранее спасибо за ответы.

Есть сайт, на котором отображается динамический контент: https://www.tradingview.com/chart/mTxoGgAC/
С помощью Beautiful Soup я могу без проблем доставать любые значения, если они отображаются в html.
В данном случае, сайт (если я правильно понимаю) выводит скрипты, которые в свою очередь уже выводят в браузер контент в html. И, естественно, с помощью Beautiful Soup я не могу получить нужный мне контент.

Какие бывают способы получения данных с сайтов такого плана?

К примеру, мне нужно получить данные с этого блока:


Подскажите в какую сторону копать и реализуемо ли это вообще в целом.

Спасибо!

Answer 1

[Надим]

В консоли браузера во вкладке Сеть изучите POST/GET запросы отвечающие за подгрузку контента и повторите их уже на своем сервере.

Comments

[Борислав]

Спасибо, попробую.

Answer 2

[Андрей Леонов]

У них какое-то API есть https://www.tradingview.com/rest-api-spec/ может поможет

Интересующие тебя данные они похоже сами с binance берут. У бинанса точно есть апи

Comments

[Борислав]

Добрый день)
С Бинансом проблем нет - там api работает очень просто и хорошо.
Тут конкретно интересуют показатели индикаторов. Через Selenium удалось решить.

Answer 3

[Владислав Лысков]

Selenium справится с этим без проблем, странно то, что ты упомянул его в вопросе, но не попробовал

Comments

[Борислав]

Про Selenium читал, но пока не нашел нужного решения. Потому упомянул.
А возможно ли (с помощью Selenium) получать данные без постоянной перезагрузки страницы (как в beautifulsoup) чтоб избегать банов по айпи? К примеру если меняется одна строка (цена например) то получать ее значение без перезагрузки.
Спасибо за ответ.

[Владислав Лысков]

Борислав, да, так как он проще бы сказать, отправляет не сырые запросы, а использует брауезер, он видит все дом элементы, которыми ты можешь манипулировать

[Борислав]

Владислав Лысков, большое спасибо! Буду изучать)

[Борислав]

Владислав Лысков, разобрался с селениумом. Спасибо!
Если вы работали с ним, можно задам один вопрос:
Я нахожу элемент через xpath, вывожу его - все ок.
Но когда я хочу вывести цикл, чтоб значение менялось так же, как и на сайте, выводится цикл с одним и тем же значением, которое было получено изначально.
Как можно получать динамические данные не загружая браузер по новой каждый раз?
Огромнейшее спасибо.

[Владислав Лысков]

Борислав, дальше давай сам, сохраняй сессии м т д

[Борислав]

Спасибо!