def bf_parse(base_url, headers):
session = requests.session()
request = session.get(base_url, headers=headers)
if request.status_code == 200:
soup = bs(request.content, 'html.parser')
links = [link.get('href') for link in soup.find_all('a', title='Просмотр профиля')]
f = open("user_baza.txt", "a")
f.write('\n'.join(links))
f.close()
print('\n'.join(links))
else:
print("Ссылки на пользователей на этой страницы кончились, замените парс-ссылку")
bf_parse(base_url, headers)
Что нужно встроить в код, что-бы все дубликаты ( в виде ссылок ) удалялись?