Dimonchik

никак

вообще wget у ожидпние не нужно- он перейдет по всем ссылкам котолрые найдет

с кодом этого сам разберешься?
https://chrome.google.com/webstore/detail/get-crx/...
в помощь
https://chrome.google.com/webstore/detail/chrome-e...

это не тот wget

если не basic auth - не проканает

но с куками проканает

залогинься и используй те куки

вот тут все параметры, я обычно их смотрю

некоторые могут менять поведение, в зависимости от других

хорошо помогает перечисление типов скачиваемого контента прямо (то есть картинки и проч)

параметр ‘--load-cookies file’

ну и есть другие способы, да, Питон или проги

смотри сабдомены

выславляй глубины ссылок и разрешенные домены

и скачиваемый контент тоже нужно указать

--no-check-certificate убирает проверку сертификата, то есть подлинности узла, но не отменяет необходимости SSL соединения

ошибка значит что wget использует не последнюю версию SSL, нужно обновить до последней или взять curl , тоже обновленный до последней

скорее всего, достаточно обновить системный openssl

а как вы ждете она будет работать?

нужно выводить лог и парсить на 404

одинаково
wget может заменить на абсолютные ссылки, трак при правильной настройке тоже может

еще всякие Телепорты есть

выбериит опции глуюбину или отсутстивие переходов

https://www.nirsoft.net/utils/chrome_cache_view.html

разберешься?

wget -qO- http://kronikprostatit.org/memberlist.php?mode=team | grep javascript

--page-requisites

например

wget -nd -r -P /save/location -A jpeg,jpg,bmp,gif,png http://url

и вообще

1) + домен скарспейс www.horstdiekgerdes.com/sitemap.xml
2) + опция "игнорировать роботс"
3) + закосить под браузер (задай юзерагента)
4) - если там JS, wget его не обработает

проще всего - Scrapy
дешевле всего - Wget, после Wget все равно обрабатывать + однопоточность + хз какой алгоритм краулинга

Phantomjs