Объясню сначала общую схему:
На нескольких ПК работает парсер данных сделанный на BAS. Он парсит некоторые данные, и отправляет данные на сервер с API.
Данную API я сделал на node.js с использованием Express.js для того, что бы он записывал данные с парса в SQLite.
Сервер vps на Ubuntu. Деплоил на nginx. Сам сервер по характеристикам очень слабый.
Из-за этого API ложится при 10 единовременных запросах, и перезапускает сервис с API, соответственно ложатся парсеры.
Я подозреваю, что нагрузка идет из-за записи с post запросами.
Я хочу сделать метод "слоев, очереди". Данные будут записываться в массив, а Фоновый процесс будет поочередно собирать данные с массива и удалять после записи в бд.
Но для этого нужно создать фоновый процесс что бы все это работало постоянно, а не только при получении http трафика.
Вопрос в следующем, как сделать этот поток новый, потому что если я сделаю цикл который будет держать сессию и записывать данные, то запросы не будут приниматься.
Flesh Herbal, суть в том, что запросы парсером отправляются каждые 5 сек +- и это только одним экземпляром, на данный момент их 10-12 работают единовременно
Простой
