Как опросить большое количество эндпоинтов за малый интервал?
Добрый день, подскажите пожалуйста как организовать опрос более 3 000 эндпоинтов api с периодичностью 1 раз в 2 минуты?
Если запускать с await sleep'ом в миллисекундах, то все ядра процессора загружаются на 100%.
Если использовать workerpool типа piscina.js то нагрузка равномерная, но она не успевает опросить все эндпоинты в указанное время.
Сервак с Debian 10. Может есть какие либо инструменты для сервера? Или другие пути в Node.js? или любые другие инструменты, которые можно установить на сервер?
Вот технический момент. Если штук 100 из 3000 ендпоинтов будут отдавать Connection Timeout то что в этот момент будут чувсвовать твои вычислительные потоки? Это архитектурный вопрос.
Средний
