Сейчас написан скрипт на node.js, в котором создается 100 дочерних процессов, каждый выполняет соответстенно около 4000 асинхронных запросов и дожидается их выполнения с помощью Promise.all
таки в чём вопрос если всё написано и работает?
Что требуется, чтобы отправить 40000 запросов в секунду?
надо чтобы хватило потоков-ядер, интернет канала и не забанило.
Сколько надо зависит от того какую нагрузку создают запросы и сколько времени каждый запрос выполняется и обрабатывает ответ.
От создания 100 дочерних процессов скорость не прибавляется, всё равно одновременно выполнится столько сколько тянет процессор т.е как правило 1 процесс = 1 ядро/поток процессора.
Даже если 1 ядро вытягивает несколько процессов одновременно, встанет вопрос интернет канала, а потом и обработки получаемых данных(запись в базу/на hdd/оперативку), это всё жрёт время и вряд ли сервер сможет за секунду сделать 40к действий.
Где-то тут появляется понимание что нужен уже не один сервер, а целый кластер.
В общем надо измерять и проверять сколько запросов на скольких ресурсах выполняется чтобы понимать насколько надо масштабировать эти ресурсы.
Нет никакой формулы чтобы отвечать на такие вопросы "какой хостинг тариф выбрать если у меня 10/100/1000 посетителей на сайте".
