Как парсить debank?

Question

[mollya]

Cтолкнулся с проблемой, что на странице не парситcя баланс, использую request и bs4.

import requests
from time import sleep
from lxml.html import fromstring



headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}



response = requests.get('https://debank.com/profile/0x04e6cfd778a3fe067d64a171bb39a457e32ff8d7', headers=headers)
soup = fromstring(response.text)
BALANCE = soup.xpath('//*[@id="root"]/div[1]/div[1]/div/div/div/div[2]/div/div[1]/div[2]/div[2]/div[1]/div/text()')
print(BALANCE)

В результате в терминале пишет: [].

Что не так?

Comments

[AWEme]

Тэг data request лишний.
Сайт динамический, контент там загружается джаваскриптом. Либо используй селениум, либо смотри в инспекторе какими запросами сайт получает данные и пытайся пвоторить.

Answer 1

[Михаил Р.]

Баланс формируется динамически, request не может его получить. Выбор: парсить на питоне с aiohttp, asyncio, bs4 или requests + bs4?

Comments

[mollya]

а без selenium никак?

[shurshur]

mollya, requests и aiohttp - это без selenium.

[mollya]

shurshur, в ссылке которую он скинул нету requests и aiohttp, и он сам написал что request не может его получить

[Михаил Р.]

mollya,

в ссылке которую он скинул нету requests и aiohttp

Есть.

и он сам написал что request не может его получить

Не может, вопрос то в чем?

[mollya]

Михаил Р., я понять не могу как юзать requests и aiohttp, если поможешь, буду благодарен!

[Михаил Р.]

mollya, вместе? Смысла большого нет. Одна синхронная, другая асинхронная библиотека, обе для разных задач. Asynchronous Web Scraping In Python (как мне, так selenium проще).

[shurshur]

mollya, суть в том, что requests и aiohttp не использяют никакого js-кода, поэтому придётся помедитировать над сайтом и поразбираться самому, какие он запросы делает для своей функциональности. А затем эти запросы повторить в скрипте. Если нет желания и готовности этим заниматься - то selenium позволеят это автоматизировать... Ценой запуска полноценного браузера.