Как скачать 10000 ссылок?

Question

[Ринат Бакиев]

Всем привет!

Есть виндоус машина и 10000 ссылок. Как можно скачать информацию в несколько потоков?

Answer 1

[DevMan]

сделать 10 файлов по 1000 файлов и скормить их вигету в разных окошках консоли.

или взять готовый даунлоадер, например jdownloader, и скормить ссылки ему.

Comments

[Ринат Бакиев]

wget только 1000 может?

[DevMan]

Ринат Бакиев, не, ему без разницы. это я к примеру сказал. можешь сделать 2 файла по 5000 и запустить его в 2 разных консолях - это даст параллельную загрузку 2 линков. соответственно, чем больше копий запустишь, тем больше будет кол-во одновременно загружаемых линков.

но я бы взял jdownloader (он фришный) и просто скормил все линки скопом, он умеет одновременно в несколько потоков загружать линки (кол-во сам устанавливаешь) со списка.

[Ринат Бакиев]

DevMan, он не хочет подгружать ссылки. В ссылке нет файла, там отдается результат в html

[DevMan]

Ринат Бакиев, не помню про html. вроде загружал, но утверждать не буду.

как справиться с вигетом я уже написал.

[Ринат Бакиев]

DevMan, jdownloader предлагает на странице найти ссылки на файлы, а саму страницу не предлагает сохранить (

[DevMan]

Ринат Бакиев, вполне может быть, я им давно не пользовался.

берите вигет и вперёд, уже бы часть списка загрузили)

[Ринат Бакиев]

DevMan, да загружаю, просто думалось что может есть другие решения )

[DevMan]

Ринат Бакиев, наверняка есть.
прост проще взять вигет и сделать побыстрому, чем искать. особенно, если задача нерегулярная.