Как получить все ссылки у сайта?

Question

[Nemo Dev]

Как получить все ссылки сайта с помощью кода на python

Нужны все ссылки у сайта, например
example.com: (формат *.example.com/*)
example.com/forum
example.com/about

Тобежь просканить все что можно

Answer 1

[AWEme]

Почитайте про sitemaps
На примере intelsib.ru
https://intelsib.ru/robots.txt
https://intelsib.ru/sitemap.xml

Comments

[Refguser]

Важное уточнение - не всегда так можно получить все ссылки. А на некоторых сайтах и вовсе может не быть сайтмапа или доступ к нему будет закрыт.
Возможно ТСа интересовал парсинг и обход страниц.