Еще один вариант решения данной задачи:
wget -nc --no-clobber -i http://site.ru/file.html - где в html файле список ссылок на файлы
wget -nc --no-clobber -i http://site.ru/file.txt - список прямых ссылок на файлы
Спасибо
Автандил Тридварасoв за -nc --no-clobber, что означает: пропусти, если файл с таким именем уже существует
а -i - говорит, что качать нужно файлы которые указаны в списке
