Как создать фоновый процесс для express.js?

Question

[Flesh Herbal]

Всем привет.

Объясню сначала общую схему:
На нескольких ПК работает парсер данных сделанный на BAS. Он парсит некоторые данные, и отправляет данные на сервер с API.
Данную API я сделал на node.js с использованием Express.js для того, что бы он записывал данные с парса в SQLite.
Сервер vps на Ubuntu. Деплоил на nginx. Сам сервер по характеристикам очень слабый.
Из-за этого API ложится при 10 единовременных запросах, и перезапускает сервис с API, соответственно ложатся парсеры.
Я подозреваю, что нагрузка идет из-за записи с post запросами.

Я хочу сделать метод "слоев, очереди". Данные будут записываться в массив, а Фоновый процесс будет поочередно собирать данные с массива и удалять после записи в бд.
Но для этого нужно создать фоновый процесс что бы все это работало постоянно, а не только при получении http трафика.

Вопрос в следующем, как сделать этот поток новый, потому что если я сделаю цикл который будет держать сессию и записывать данные, то запросы не будут приниматься.

Comments

[Михаил Р.]

Система/брокер очередей?

[Flesh Herbal]

Михаил Р., желательно что бы это была одна сущность программы

[Flesh Herbal]

bit314, да, возможно. Может быть из-за sqllite?

[Flesh Herbal]

Flesh Herbal, суть в том, что запросы парсером отправляются каждые 5 сек +- и это только одним экземпляром, на данный момент их 10-12 работают единовременно