Как правильно реализовать загрузку страниц в Х потоков в Node.js?

Question

[Василий Норман]

Подскажите, как правильно реализовать загрузку страницы в несколько потоков (синхронно) в реализации на node.js. К примеру: есть сайт с артистами, необходимо его спарсить в базу. Допустим, есть собранные ссылки, по которым доступны странички с описанием артистов. Всего 200 ссылок и нужно загружать по 5 страниц одновременно (количество может меняться), пасрить и писать собранный результат в БД.

Для загрузки страниц используется модуль http (http.get(URL)). Чувствую, что в данном случае необходимо использование какого-то асинхронного решения вроде очереди промисов, но возможно какое-то более-элегантное решение?

Спасибо.

Answer 1

[vsvladimir]

Загрузка в x потоков:
stackoverflow.com/questions/15533448/node-js-http-...

Но если важно ждать загрузки x страниц и потом что-то с ними делать, а затем уже грузить следующую порцию - то удобен будет модуль Async.

Comments

[Василий Норман]

Нет, это маленько не то... Нужно грузить 100500 страниц порциями по 5 страниц. Т.е. асинхронная загрузка этих 5 страниц, но сама очередь должна быть синхронной.

[vsvladimir]

Тогда модуль Async - удобный вариант. Там можно одновременно запустить 5 задач и как все выполнятся что-то сделать, затем запустить следующие 5.

Можно самостоятельно сделать такой вариант. Запустить 5 раз Get с общей функцией Callback. В функции Callback проверять какой по счету раз она запускается, если 5-й
значит 5 страниц скачалось и можно дальше что-то делать.

[Василий Норман]

Ок, спасибо. Уже осваиваю.