@loly

Как корректно реализовать «сборщика» информации (из стороннего публичного API)?

Необходимо парсить стороннее публичное API (json) (примерно каждые 3 секунды 5-15 MB) и затем добавлять всё это в базу на ElasticSearch (по этим данным потом осуществляется поиск). Как "правильно" это реализовать? На данный момент я склоняюсь к варианту реализации этого парсера внутри сервера node.js (этот же сервер будет отвечать клиентам по их поисковым запросам), но у меня есть сомнения в "правильности" такой реализации, не помешает ли это клиентам получать и искать информацию? Не замедлит ли это ответы на запросы? Стоит ли реализовывать этот парсер отдельным приложением/процессом?

PS Очевидно, что я задаю такие вопросы только из-за своего незнания и неопытности. Пожалуйста, поймите меня правильно и не закидывайте тапками. Очень надеюсь на ваш ответ (даже если это будет лишь "такая реализация вполне допустима"). Спасибо!
  • Вопрос задан
  • 207 просмотров
Пригласить эксперта
Ответы на вопрос 1
k12th
@k12th
console.log(`You're pulling my leg, right?`);
Да, замедлит, делайте отдельным процессом/приложением. Нода однопоточная, поэтому пока приложение разбирает json, готовит его к вставке в бд, оно не сможет отвечать клиентам и они будут видеть это как тормоза сайта.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы