Правильно ли составлена команда WGet?

Question

[Виталий Пухов]

Когда задал вопрос по части менеджера загрузки в linux каждый второй указал мол wget рулит и все остальное не нужно, решил попробовать решить свою задачу с использованием wget, но не уверен, что правильно составил команду:

wget -i I -P 8 --force-directories --continue -nc -t inf --waitretry=1 --progress=bar

URL в списке будут вида

blablabla.com/blabla/Folder1/01.zip
https://blablabla.com/blabla/Folder1/02.zip
https://blablabla.com/blabla/Folder2/01.zip
blablabla.com/blabla/Folder2/01.zip

Требования к скрипту были такие, чтобы он проходил по следующим требованиям:

• список загрузки это 10-20 файлов в отдельной папке,
  
• таких папок может быть более 10,
  
• в wget нужно как то скормить список файлов, со всеми папками
  
• часть файлов может быть уже загружена их заново загружать не нужно
  
• при этом чтобы он мог скачивать скажем 5 файлов одновременно,
  
• но с 8 потоками на каждый файл,
  
• при этом скрипт такой может выполняться скажем неделю
  
• и за это время его пару раз может остановить отключение электричества
  
• и еще десяток раз я сам должен его приостанавливать, когда мне нужен весь интернет канал.
  

Вопрос, составленная мной команда выполняет все эти требования?

Comments

[Дмитрий Филимонов]

А что понимается под "отдельными папками"? То есть нужно сохранить структуру директорий как на сайте? Или самих файлов с URL для загрузки много, и они лежат в разных директориях, и надо в эти директории скачать файлы соответственно?

Что касается многопотоковой загрузки - это умеет aria2 (https://ru.wikipedia.org/wiki/Aria2), она тоже консольная.

p.s. В любом случае придется писать скрипт, будь то на bash или, например, на python, и он справится со всеми задачами. Дополнительно можно оттюнить tc для приоретизации трафика. В общем, есть, куда разогнаться)) Одной командой тут не обойтись.

[Виталий Пухов]

Дмитрий Филимонов: скрипт не вариант, тут с одной командой куча проблем, если бы там нормальный язык программирования был типа C# то легко, а лепить костыли не вариант. Про aria2 спасибо, почитал выглядит неплохо, особенно с Remote, буду пробовать

[Дмитрий Филимонов]

Виталий Пухов: да, это похоже на то, что нужно, но я не использовал remote, возможны ui-косяки, свойственные подобным проектам, тем более, судя по sourceforge, оно не обновлялось с 2013 года. Кроме того, я еще нагуглил webui - https://github.com/ziahamza/webui-aria2, не знаю, насколько она мощна, но новее. Причем не требуется разворачивать веб-сервер для нее. Посмотрите еще uGet.

А теперь по части, где были задеты мои глубокие чувства))) Скрипт - это не костыли. И "нормальный" язык - это не только C#. Python не менее нормальный язык, например. Ну и куча проблем возникает потому, что нет нормального прочтения мануала, нет понимания, как работает Linux вообще, как я подозреваю. Я бы сделал скрипт, и он бы у меня работал годами, не поверите. У меня на серверах есть скрипты, делающие бэкапы БД, например - годами работают, по своей сложности они примерно равны тому, что нужно в этом вопросе, может, чуть попроще. С таким подходом будут на чем угодно костыли.

[Виталий Пухов]

Дмитрий Филимонов: согласен, но я не понимаю концепции таких скриптов, результат выполнения каждого шага которых я не могу предсказать и проконтролировать. За webui-aria2 спасибо, классная штука)

Answer 1

[AVKor]

Если кратко, то неправильно.

Более точно можно посмотреть в man wget.

Есть подозрение, что вместо чтения документации было гугление набегом, причём неверно понятое (опция -P делает совсем не то, что полагаете).

Answer 2

[Valentin]

я рекомендую использовать aria2 - вроде присутствует в репозитариях, в бубунту точно есть
aria2.sourceforge.net/manual/ru/html

Answer 3

[ComodoHacker]

wget не может загружать параллельно и/или в несколько потоков. По вашим требованиям думаю подойдет lftp.

Но позаботиться о запуске после отключения электричества придется самостоятельно. :)

P.S. Из GUI качалок хорош uGet.

Comments

[Виталий Пухов]

lftp это ftp клиент если верить описанию, в моем случае файлы будут либо на http либо на https

[Дмитрий Филимонов]

Как это не может параллельно? У нас же bash-сила доступна - есть &, нужно просто скрипт написать.

[Виталий Пухов]

Дмитрий Филимонов: ну по части "просто скрипт" это как бы мягко сказано, гуглил на тему скрипта, первый попавшийся "просто скрипт" который с wget делал примерно то что нужно был листа на 3 формата A4, это никак не входит в рамки моей задачи

[ComodoHacker]

Виталий Пухов: lftp это мультипротокольный клиент, почитайте описание на официальном сайте: lftp.yar.ru/features.html, lftp.yar.ru/desc.html

[Максим Мосейчук]

Дмитрий Филимонов: Вы внимательно прочитайте требования. 8 потоков на каждый файл, а не 8 файлов по 1 потоку.

Answer 4

[monah_tuk]

Я грабил сайты при помощи httrack