@activebomb

Как спарсить ссылку если есть data-ipb="noparse"?

import requests
from bs4 import BeautifulSoup as bs

headers = {'accept': '*/*',
           'user-agent': 'Mozilla/5.0 (Linux; U; Android 4.0.2; en-us; Galaxy Nexus Build/ICL53F) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30'}
base_url = 'https://www.biznet.ru/topic305118.html/page-2#entry2183295'

def bf_parse(base_url, headers):
    session = requests.session()
    request = session.get(base_url, headers=headers)
    if request.status_code == 200:
        soup = bs(request.content, 'html.parser')
        div = soup.find_all('div', attrs={'class': "topic_reply"})
        print(div)
        
bf_parse(base_url, headers)


Пробовал (d.find('a') for d in soup.find_all('div', attrs={'class': "topic_reply"})), не получилось, нужно забрать все ссылки (href), которые находятся примерно тут (почему-то я грешу на то, что у меня ничего не получается из-за строки data-ipb="no-parse". 5d3aff4a85c92111618635.png
  • Вопрос задан
  • 110 просмотров
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы