Как с сайта достать не все ссылки, атолько те, которые необходимы?

Question

[Oli]

Хотел вытащить ссылки из главного меню сайта, но получается вытащить все.

for link in soup.find_all('a'):
    print(link.get('href'))

На картинке код-html. Мне нужен только /author/, /poems/, /boards/, /search.html,

Comments

[Bodrosh]

Такой вариант не работает find_all('ul.headmenu a') или find_all('ul.headmenu>a') ?

[o5a]

вот так должно работать
soup.select('ul.headmenu a')

Answer 1

[Павел Корнилов]

Через XPath:
//a[contains(lower-case(@href),'/author/')]

Answer 2

[Sergo Zar]

keys = ["author/", "/poems/", "/boards/", "/search.html"]
for i in range(0,len(keys)):
    if(keys[i] in str(link.get("href")):
        print(link.get("href"))

P.s. не считал пробелы

Comments

[Oli]

У меня ругается на второе :

[Сергей П]

Ну что вы как маленький? Надо правильно писать на питоне:

keys = ["author/", "/poems/", "/boards/", "/search.html"]
for key in keys:
    url = link.get("href")
    if key in str(url):
        print(url)

но соседнее решение с XPath лучше

[Sergo Zar]

Сергей Паньков, точно! Тупанул)