Как подсчитать страницы сайта?

Question

[Maxwell012]

Извиняюсь если поставил не верно тег, так как я не знаю какой тег подходит для данной темы.
Мне нужно подсчитать количество страниц сайта, я это делал через файл sitemap.xml (просто парсил его и подсчитывал количество страниц), но проблема в том что не все сайты имеют sitemap + как я знаю в sitemap могут не быть указаны все страницы сайта.
Как лучше можно подсчитать количество страниц сайта?

Answer 1

[Dimonchik]

эмпирически

1) отпарсить скрапи без исключений в рамках домена
2) дойти до 404 по возрастающему ID
3) ну и сайтмеп

больше ничего не придумали

Comments

[Maxwell012]

1) Первое вы имеете виду спарсить все ссылки?
2) Не понимаю о чем вы, если не тяжело можете написать подробнее

[Dimonchik]

Maxwell012, а что случилось? задача третью неделю висит нерешенной?

[Maxwell012]

Dimonchik, Задача ушла немного на 2 план, не хотел читать и разбираться задачей которой я щас не был занят