Какой есть менеджер закачек для Linux, которым можно качать 10 тыс. файлов?

Question

[Сергей Карбивничий]

Нужен удобный менеджер закачек(с GUI) для скачивания огромного количества файлов из списка. Также должна быть настройка сохранения имён файлов. Также общий старт/стоп всех закачек. Смена user-agent.
Когда-то пробовал несколько менеджеров, некоторые просто давились после импорта такого количества ссылок. Wget не предлагать.

Comments

[mureevms]

Раз не wget, значит curl )

[Иван Иванов]

вопрос должен быть: - Как мне поближе познакомиться с ребятами из Управления "К"

[Сергей Карбивничий]

mureevms, Оригинальненько (｡◕‿◕｡)

[Сергей Карбивничий]

Иван Иванов, ?

[Иван Иванов]

Сергей Карбивничий, что собираемся делать со всей этой кучей? Продавать на развес? )

[Сергей Карбивничий]

Иван Иванов, Занимаюсь парсингом интернет магазинов. Иногда, бывает около 50 000 тыс. наименований товара. И на каждой странице товара есть от одной до нескольких изображений. Вот так.

[Иван Иванов]

Сергей Карбивничий, ааааа, картинки, сам люблю графу тырить)

так вроде HTTrack был

[mureevms]

Как вариант, если ничего не посоветуют, можно использовать браузерный девелопер тулс. Это не сильно удобно, но весь нужный функционал есть.

[Сергей Карбивничий]

mureevms, Дело в том, что у меня есть уже списки прямых файлов на изображения.

[mureevms]

Сергей Карбивничий, тогда curl вам поможет, скрипт можно написать довольно быстро, но зависит от логики. Даже, при должных знаниях, можно наваять гуевину, что тоже не сильно сложно, особенно для разраба со стажем

[xotkot]

раз уж вспомнили про curl, то:
curl --remote-name-all --parallel $(<urls.txt)
из моего старого ответа на вопрос Как скачать миллион картинок?

[be52]

Сергей Карбивничий, ты это руками что ли делаешь? просто напиши скрипт что за странные проблемы

Answer 1

[Сергей Карбивничий]

Установил несколько менеджеров, остановился на uGet. Всё что нужно в нем есть.

Comments

[mureevms]

И в этой гуевине надо для каждого файла задавать настройку URL'а? Жуть

[Сергей Карбивничий]

mureevms, Нет. Создаю категорию закачки. Настраиваю её(их можно много создать). Импортирую ссылки из файла и он качает.

[xmoonlight]

Сергей Карбивничий, чем это лучше того же питона или php?
Не проще "микросервис"-скрипт создать на одном из них и пускануть?..
А затем тот же список линков ему скормить через веб-форму?

Это намного гибче (в плане нужной настройки) и "на каждый день" (под любой парсинг) пойдёт, кмк...

Answer 2

[ValdikSS]

Jdownloader, как вариант.