Как получить все url-ы сайта без спец.ПО?

Question

[username5]

Доброго дня.

Может быть кто-то знает, как получить все url-ы сайта? Может, есть какие-то бесплатные сервисы (краткий гуглинг не помог)

Пример: есть сайт ya.ru

Мы получаем его страницы:
mail.ya.ru
ya.ru/pogoda/
ya.ru/maps/
и.т.д.

Есть платные сайты типа Similarweb, но у меня узкая задача. Было бы здорово найти какой-то бесплатный аналог

Comments

[Василий Банников]

Для начала нужно определить, что такое "все урлы сайта", ибо:
mail.ya.ru - это поддомен и их можно из DNS вытащить
ya.ru/pogoda/ - это один из обрабатываемых путей и его можно узнать только полным перебором или на других сайтах

[username5]

Василий Банников, Василий, в идеале необходимо получить и поддомены и все пути

[Василий Банников]

username5, ну вот все пути только путём полного перебора и кроулинга по другим сайтам можно получить.
Мб ещё через sitemap.xml и robots.txt что-то получится вытянуть