Не получается спарсить ссылку с Binance?

Question

[mizanok]

Не получается вытащить ссылку из href с Binance, пробовал после art выводить то, что спарсил, но в итоге в консоле пусто,не хочет искать через класс, может кто сталкивался или может помочь?

import requests
from bs4 import BeautifulSoup as BS

def get_token():
  headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.0.0 YaBrowser/24.10.0.0 Safari/537.36"}

  url = 'https://www.binance.com/ru/support/announcement/новые-листинги-криптовалюты?c=48&navId=48&hl=ru'
  r = requests.get(url=url, headers=headers)
  soup = BS(r.text, 'lxml')
  art = soup.find_all('a', class_='css-1w8j6ia')
 
  for i in art:
    ss = i.get('href')
    print(ss)



get_token()

Comments

[setupx]

есть такое ощущение будто 1 хедера мало. выведи r и посмотри ответ

[mizanok]

setupx, ответ response 200, отвечает

[mizanok]

setupx, если выводить art, то выдает []

[setupx]

mizanok, а если вывести r.text?

[mizanok]

setupx, отдает весь html

[temjiu]

Попробуй Selenium

[mizanok]

temjiu, придётся, если никто не подскажет, не хотелось конечно через Selenium

Answer 1

[dim5x]

Ссылки генерируются динамически: в вашем r.text нет искомых ссылок. Без использования браузера под капотом не получится.

from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    browser = p.chromium.launch()
    page = browser.new_page()
    page.goto('https://www.binance.com/ru/support/announcement/новые-листинги-криптовалюты?c=48&navId=48&hl=ru')

    # Ждем, пока контент загрузится
    page.wait_for_timeout(2000)

    # Извлекаем ссылки
    links = page.query_selector_all('a[class="css-1w8j6ia"]')
    for link in links:
        href = link.get_attribute('href')
        if href:
            full_url = f"https://www.binance.com{href}"
            print(full_url)

    browser.close()

Comments

[mizanok]

Спасибо тебе огромное, я все понял