Как получить список адресов всех страниц сайта, включая скрытые?

Question

[Stalker_darkway]

Всем привет. Народ, подскажите какие-нибудь сервисы или скрипт чтобы получит/вывести все ссылки на страницы сайта. Заранее спасибо.

Comments

[Максим Артемьев]

Вот тут есть сервис https://iksweb.ru/tools/check-search/ по сбору страниц сайта в ПС Яндекс. Можно быстро узнать объём конкурентов или получить список страниц с заголовками и описанием.

Answer 1

[Lexans]

Гугли сервисы "генератор карты сайта (sitemap)"

Answer 2

[WebDiez]

https://www.xml-sitemaps.com/

Comments

[Smith101]

Нужно быть осторожным с этим ресурсом, не все страницы выдает.
На сайте, который сделан на Opencart , https://www.xml-sitemaps.com/ не все страницы нашел. Там их и не особо много было, порядка 90. Но отдельные, типа страницы регистрации, почему то он не нашел.

Answer 3

[slrmclaren722]

А если например страница требует авторизации как быть?

Comments

[Stalker_darkway]

Если сайт закрыт, то либо настраивать доступ для сервисов, либо отказываться от этой идеи.
Если сайт открыт, то будет получена ссылка на страницу авторизации и скрипт пойдет дальше смотреть остальные ссылки.

[slrmclaren722]

Stalker_darkway, если речь о https://www.xml-sitemaps.com/ то почему то не дает. Пишет - перевод: При доступе к указанному URL-адресу произошла ошибка. Сайт открыт, просто там требуется авторизация.

[Stalker_darkway]

Тогда может действительно причина в этом.