Я думаю Александр полностью ответил на вопрос. Стандартное средство - wget. И оно работает для 80% сайтов. Должно работать.
Другое дело что современные сайты из всех сил сопротивляются скачиванию. И поэтому для них
очень трудно искать какой-то стандартный подход. Задача еще осложняется анти-капчей и прочими
вопросами которые просто wget не решает.
Если например смотреть в сторону Селениума и прочих браузеров которые эмулируют полноценную интеракцию - то даже они требуют ручной доводки и конфигурирования. И это уж точно никак не пользователский подход. Это скорее какая-то разработка.
Вобщем я кликаю что решение вопроса есть. И можно дальше ничего и не искать.
