Сколько можно сделать запросов одновременно в NodeJs?

Question

[Wynell_ru]

Добрый вечер
Сколько запросов я могу отправлять одновременно (например, с node-fetch)? Как это сделать? Если я пошлю запросы в цикле, то они отправятся почти одновременно? Как вообще реализовать подобную многопоточность?

Comments

[Lynn «Кофеман»]

Сколько угодно (в разумных количествах).

Лучше нормально опишите задачу

[Wynell_ru]

Алексей Тен, например чекер прокси
Достаточно ли будет послать запросы в цикле, или можно сделать это правильнее? (Многопоточность)

[Александр]

Wynell_ru, чекать проксю можно и башем

[Wynell_ru]

Александр, это был пример. Бывают и другие цели. А в общем то как?

Answer 1

[Антон Неверов]

От 1 до миллиона миллионов. Node js не многопоточный язык, а асинхронный. Очень хорошее видео для понимание асинхронности: https://youtu.be/8cV4ZvHXQL4

А так - скорее всего, вы никогда не "упрётесь" в лимит запросов. Лимит определяется оптимизацией вашего кода и качеством железа, на котором запущено приложение. + всегда можно масштабировать горизонтально приложение. А так же создавать несколько параллельно работающих приложений, распределяя нагрузку между ними. PM2 это умеет, например.

Comments

[Виталий]

одновременно в ноде выполняется всегда что-то одно, читать про эвентлуп.
асинхронно запустить тоже миллион запросов, вряд ли, реализуемая история, ибо в libUV по дефолту нодовское приложение получает 4 треда, можно апать больше, но явно никакого ляма в параллели не будет.
Wynell_ru чтобы запустить псевдопараллельный пулл запросов достаточно использовать Promise.all
Просто возьми свой массив проксей, прогони его в фор и посмотри на результат в консоли, сделай выводы, оптимизируй получай профит )

(async function(){
    const proxies = [/* тут твои прокси данные*/]
    const toFetch = []
    for(const proxy of proxies){
        toFetch.push(fetch(proxy))
    }
    const allResponses  = await Promise.all(toFetch)
    console.log(allResponses)
})()

Answer 2

[Валентин Сировский]

Вроде 500, все от сервера зависит!

Comments

[Wynell_ru]

Допустим задача сделать прокси-чекер
Послать запросы в цикле будет достаточно, или же есть вариант сделать это правильнее? (Многопоточность)

[Иван Шумов]

Wynell_ru, в ноде нет многопоточности

Answer 3

[grinat]

Подбирать надо число, в любом случае нода однопоточна, если одновременно уйдет пачка, то назад вернется примерно в тоже время пачка, и выигрыша не будет, будут просто всплески нагрузки на цп и сеть. Также если их много, то часть начнет отваливаться. Их надо плавно размазывать таким образом, чтобы поток все время работал и не попадал в ограничения сети. То есть отправлять друг за другом с маленькой задержкой. Плюс от задачи зависит, если это парсер, и у целевого сервиса рате лимитер, то если отправишь например 100 запросов в сек, а лимит в 10, то при лучшем раскладе 90 просто отвалится, а при худшем сразу схватишь бан на какое-то время либо навсегда и придется искать прокси.