Nordihan
@Nordihan
JavaScript Engineer (REACT / NODE.JS)

Как автоматически запускать парсеры на Node.js на Linux?

Есть скрипт на Node.js, который должен запускаться каждые 80 минут, делать запрос по API и вставлять полученный результат в базу данных. Таких парсеров будет несколько штук, все будут запрашивать данные с разной периодичностью. Отдаваться это всё будет через веб морду на React.

Вопрос:
Какими инструментами можно реализовать, чтобы всё выглядело одинаково и на локальной машине (Linux Mint) и на проде (если через докер - то я не про сам докер, а про то, что должно внутри него крутиться)?
Требуется чтобы всё само подымалось при старте машины и подымалось заново, если упало.

Нужно смотреть в сторону Supervisord, Cron, RabbitMQ Service Workers?
  • Вопрос задан
  • 59 просмотров
Пригласить эксперта
Ответы на вопрос 2
teknik2008
@teknik2008
Расскажите про GOLANG. Мне интересно
Самое первое в голову приходит - https://www.npmjs.com/package/node-cron

Запустите основной процесс с кроном, а отдельном потоке по крону запускайте другие процессы.
Ответ написан
Комментировать
@mitya_k
  • Самое простое это cron
  • Или использовать что-то типа такого node-schedule, но тогда надо быть внимательнее с ошибками и нагрузкой
  • Ну, самое последнее это смотреть на брокеры сообщений, в большинстве случаев для периодических это избыточно
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы