Как запарсить все страницы сайта?

Question

[SouLWorkeR]

Припустим у меня есть сайт site.site и у него есть страницы site.site/siter, site.site/1, site.site/simn.
Как мне их перебрать, имея только главную ссылку site.site, так как в моей задаче есть очень много страниц, вручную никак, а разница в адресах страниц похожая так, как и в примере выше.

Comments

[Developer]

что это за новое слово - "припустим"?
Трындышлаг?

Answer 1

[Александр]

Допустим вы не знаете ничего про парсинг и программирование. У вас есть site.site как вы планируете узнать что у него есть страница site.site/siter?

Самое простое рекурсивный поиск url по страницам с ограничением вложенности. Открваете site.site, находите там все href="([^"]+)" потом открваете все найденные и ищите там. Не эффективно, но работает.

Answer 2

[ediboba]

как правило если сайт следит за своим сео, то у него будет в открытом доступе site.site/sitemap.xml или sitemap.html.
Название может быть и другим, оно также может указываться в файле robots.txt.
Находите этот файл, разбираете его на ссылки и вот вам все ссылки с сайта.