Как спарсить соц сети с сайта?

Question

[wkainen]

Стоит задача найти у 1000 разнообразнейших сайтов все соц сети, телегу твиттер, неважно. Так как структура разная через обычный поиск по тегам/селекторам не работает.
Подскажите как это можно решить, пробовал через bs4, сайт распиливается, а дальше у меня ступор как вырвать именно ссылку начинающуюся допустим на 't.me'

Пробовал также selenium через

browser.find_element(By.PARTIAL_LINK_TEXT)
Но результата никакого не было, подскажите есть ли какое то универсальное решение.

data = []
options = Options()
ua = UserAgent()
userAgent = ua.random
print(userAgent)
options.add_argument(f'user-agent={userAgent}')

browser = Chrome ('//Users//kainen//Downloads//chromedriver//chromedriver')

for p in range(0,1):

    url = f'https://aleph.im/#/'
    browser.get(url)
 
    soup = BeautifulSoup(browser.page_source, 'lxml')
    telegram = soup.get('href').get
    
    data.append(soup)
    print(soup)

Comments

[Kash_Tan]

Всем привет, стоит задача найти у 1000 разнообразнейших сайтов все соц сети, телегу твиттер, неважно

найти что?

[wkainen]

Kash_Tan, Социальные сети с каждого сайта.
Есть список сайтов
Каждый сайт через bs4 request разбираем
вытаскиваем все ссылки и ступор на том как из всех ссылок вытащить нужные - то есть те в которых присутствует допустим 'twitter.com/"

[wkainen]

data = []
for p in range(0,1):
    print(p)
    
    url = f'https://spume.io'
    r = requests.get(url)
    soup = BeautifulSoup(r.text, 'lxml')
    All_tag = soup.findAll('a')
    
    for All_tags in All_tag:

        All_link = All_tags.get('href')
        
        data.append(All_link)

Далее из всего этого списка каким то образы вытащить именно тот в котором есть "twitter"