Как узнать количество страниц чужого сайта?

Question

[freecarsar freecarsar]

Интересует не индексация поисковиком, а сама структура сайта, количество страниц. Интересуют бесплатные/дешёвые сервисы и/или десктопные программы с примерно точными результатами. Пробовал парсить карту сайта через xml-sitemaps com, но там ограничение до 500 стр.

Как кто решает эту задачу?
Весьма благодарю.

Answer 1

[Артем]

https://www.screamingfrog.co.uk/seo-spider/
https://xenus-link-sleuth.en.softonic.com/

Answer 2

[ThunderCat]

Скачать сайтмап если есть, обычно нормальный сайт его имеет. Или юзать тулзы указанные Артем

Answer 3

[screen_sailor]

Попробуй по способу из этой книги.