Как скачать по 100к ссылкам?

Question

[Влад]

Необходимо скачать файлы по 100к ссылкам.
Добавил их в Internet Download Manager - у меня уже больше 2 часов программа висит, пытаясь обработать все ссылки, чтобы просто начать качать... что же будет дальше..

Может кто подсказать способ скачивания по 100к ссылкам?

Comments

[Денис Юрьев]

причем тут ssh и php?

Answer 1

[xotkot]

Как скачать миллион картинок?

Answer 2

[Александр]

Во-первых, не использовать для этого дела php. Лучше взять асинхронную ноду и запустить. А дальше ждать. Может потребоваться много времени, в зависимости от массивности скачиваемых файлов

Comments

[Влад]

файлы небольшие, по несколько килобайт
что такое нода??
может как-то через CMD можно запустить скачивание?

[Aleksey]

Чем лучше, если не секрет? Может лучше на асинхронном ассемблере сразу всё написать? Зачем тут полумеры?

[Александр]

Aleksey, как минимум, тем что node.js из коробки предоставляет асинхронщину и не нужно калдовать с курлами и очередями

[Александр]

Влад, node.js. Нужно будет написать небольшой скрипт для скачивания (правда нужно учесть ограничение памяти и запускать по 100-1000 скачиваний за раз)

[Flying]

Сейчас для PHP есть вполне себе асинхронные HTTP клиенты: guzzlehttp/guzzle и symfony/http-client