Попробуйте wget. Вот шаблон, который я использую:
wget -m -r -l 10 -k -p -o log.txt -e robots=off --no-check-certificate -U="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36" --header='Accept-Charset: utf-8' -P E:/xd-wayback https://demo.loc/
- -m— скачать на локалку
- -r — рекурсивное скачивание
- -l 10 — вложенность папок
- -k— конвертировать ссылки в локальные
- -p — скачать все необходимые ресурсы
- -o — лог файл
- -e robots=off — игнорировать правила /robots.txt
- --no-check-certificate — не проверять сертификат
- -U— user-agent
- --header — заголовок
- -P — каталог, куда скачать
Все команды и как пользоваться
тут