Будет ли правильной такая структура Node.js демона?

Question

[Сергей Савостин]

В качестве практической разминки при изучении Node.js решил попробовать переписать свой обработчик данных.
Сейчас реализован на php: по крону один скрипт получает из базы список задач и запускает в background другой php скрипт (сотни) для выполнения задачи (задача состоит с получении данных по http из сотни источников, обработка JSON, вычисления и складывание в базу и файлы). Не нравится огромное количество процессов, ну и по расходу памяти имхо должно полегчать.
К сожалению все примеры в инете реализуют веб-приложение/сервер. У меня же должен быть демон/клиент. Ну разве что какая веб-морда для просмотре статистики/загрузки, но это позже.

Схематично пока у меня так:

var connection = mysql.createConnection(...); // ничего, что соединение одно? в job.start его можно использовать?
var core = setInterval(function() {
   connection.query('SELECT job FROM jobs', {}, function(err, res){ // получить работу
      res.forEach(function(job){
         job.start(); // собственно работа
      });
   });
}, 60000); //раз в минуту получить задания

Answer 1

[Сергей Протько]

1) выйгрыша по производительности/памяти вы не особо получите. Для справки - нода жрет памяти побольше чем пых.
2) посмотрите в сторону очередей (ZeroMQ, RabbutMQ, Resque)

Comments

[Сергей Савостин]

1. Почему?
2. Мне не нужна очередь, мне нужно именно запускать их одноверменно, если найдены в jobs.

[Сергей Протько]

Сергей Савостин:

1) А откуда ему взяться этому выйгрышу? В PHP так же можно в несколько потоков загружать HTTP, парсить результаты и складывать, в одном процессе. В JS конечно проще, я просто предупредил что не особо будет много выйгрыша в производительности. Хотя если у вас на каждый источник создавался свой обработчик и он скачивал и парсил только одну линку то да, профит будет.

2) я предлагаю вам заменить вашу реализацию очередей с базами на нормальную. То есть вообще избавиться от этой штуки с табличкой jobs и заменить на полноценную очередь задач.

[Сергей Савостин]

Сергей Протько: 1. Ну хотя бы из-за того, что раньше на каждую задачу запускался отдельный процесс php.
2. Задачи формируются извне, т.е. пишутся в базу сторонним процессом. И это не совсем очередь. Мне нужно при появлении задачи начать ее выполнять (без пула).

[Сергей Протько]

Сергей Савостин: 1) ну я так и понял, тогда норм.
2) ну... и? Задачи формируются из вне и ложатся в очередь. Воркер постоянно мониторит есть ли новые задачи. JS может послать запрос, проверить очередь, если там что-то есть - послать еще один запрос... и тд. А когда запрос отработает всеравно сработает event loop.

Ну смотрите сами.