XENU и хотел посоветовать, всегда им пользуюсь, т.к. report довольно вменяемый,
они пишут, что через IE можно авторизоваться и должно сработать
19. What about cookies?
By default, cookies are disabled, and Xenu rejects all cookies.
If you need cookies because
you have used Internet Explorer to authenticate yourself before starting a run
to prevent the server from delivering URLs with a session ID
then you can enable the cookies in the advanced options dialog.
(This has been available since Version 1.2g)
basic auth тоже вполне работает через login:pass@domain.com конфигурацию
если нет - пробуйте Content Downloader, в его логах можно увидеть 404 и прочие ошибки
еще - классический Wget и тоже смотреть логи, но Wget может зациклиться и ходить по кругу бесконечно )
