Сбор и обработка данных по APIs на NodeJs?

Question

[iordania]

Всем привет! Подключаюсь по api к различным сервисам и собираю данные(книги, фильмы, музыка, игры).
Задача стоит следующая: раз в неделю формировать подборку контента на основе предпочтений пользователя, а также подборки независимо от пользователя(к примеру самые интересные на данный момент и т.д).
Сейчас фильтр и сбор данных происходит исходя из запроса на клиента.

Как организовать это в фоновом режиме? (в качестве бд использую mongo, но если есть решение на других бд, то трудности поменять не составит).

Сбор данных фоново необходим, чтобы комбинации записывались в мою бд, кешировались и отдавались пользователю уже таким образом, но так же должен остаться способ делать напрямую запросы по api.

Comments

[Михаил]

https://www.npmjs.com/package/cron

Answer 1

[d'Ivan]

Создать дополнительный процесс для сбора данных, запускаемый либо через планировщик задач, либо как демон. Будет собирать инфу в БД, а оттуда считывать службой API.

Answer 2

[mishkaaaaaa]

Попробуйте cron. У него не очень дружелюбный формат для настроек периодичности, поэтому эта штука может помочь.

К БД ваша задача не имеет отношения, можно что угодно использовать