Как можно осуществить парсинг всех ссылок сайта?

Question

[zyusifov11]

просто find all
никак не помогает так как он парсит все ссылки а на сайте много ссылок кнопок
может надо как-то xml? или фильтр всех a href как-то осуществить?

Comments

[Владимир Куц]

Вы бы сайт указали, а то Ванга вышла из чата.

[zyusifov11]

Владимир Куц, я это буду делать для разных сайтов.
тоесть будет парсинг всех страниц сайта

[europeexpress]

Скиньте код, какой есть.

[soremix]

Как можно осуществить парсинг всех ссылок сайта?

не помогает так как он парсит все ссылки

Answer 1

[europeexpress]

Недавно сам мучался. Вот код, лови бро.

list_ids = []
    soup = BeautifulSoup(r.text, 'lxml')
    for link in soup.find_all('хххxx', class_='хххxx'):
        list_ids.append(link.get('href').replace('что нужно поменять ', 'на что нужно поменять')