@James_Obry

Как спарсить динамический текст python?

пишу небольшой парсер курсов валют на языке python и библиотеках requests и beautifulsoup4.
Вот сайт который я хочу спарсить.
Вот код парса необходимых мне tr
def parse():
    URL = 'http://sky.bank/uk/currency'
    HEADERS = {
        'user-agent': 'my user agent'
    }
    response = requests.get(URL, headers=HEADERS, verify=False)
    soup = BeautifulSoup(response.content, 'html.parser')
    items = soup.findAll('tr')
    print(items[1])
    print(items[2])
    print(items[3])


Если вызвать данную функцию то будет видно что внутри tr есть 3 тэга 1-валюта, 2-курс покупки, 3-курс продажи. Так же можно увидеть что каждый из курсов покупки имеет в себе цифры 33.6, а каждый из курсов продажи имеет в себе цифры 33.9, но на сайте там совершенно другие цифры, насколько я понимаю, эти данные динамические. Так вот вопрос: как корректно спарсить эти цифры?
  • Вопрос задан
  • 104 просмотра
Пригласить эксперта
Ответы на вопрос 1
Vindicar
@Vindicar
RTFM!
Они обновляются скриптом наверняка. А скрипт наверняка делает фоновый запрос к бэкэнду сайта.
Отсюда:
а) Выяснить, что это за запрос, и научиться его выполнять самостоятельно с помощью requests. Бонус - наверняка там что-то удобочитаемое, типа JSON, а не HTML.
б) Использовать полноценный браузер, умеющий выполнять скрипты, типа selenium. Громоздко и медленно, но зато позволяет успешнее косить под обычного пользователя.
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы