Как сделать многопоточный HTTP(S) сервер в ноде?

Question

[urgjfvuirakjkd]

На ноде мне требуется написать веб сервер, который при открытии по адресу 127.0.0.1:8080 будет в фоновом режиме таскать файлы через wget и отдавать.

Вот простой пример сервера

var http = require('http');
http.createServer(function (req, res) {
//тут 60 секунд идет работа в СИНХРОННОМ режиме через wget и подобные
//fs.readFileSync
    res.writeHead(200, {'Content-Type': 'text/html'});
    res.write(req.url);
    res.end();
}).listen(8080);

Открываю 2 разных браузера
В каждый вбиваю 127.0.0.1:8080 и нажимаю одновременно Ентер
И опа!
Один браузер работает, потом как первый заканчивает работу начинает работать второй.
Нет многопоточности т.е. второй ждет пока первый закончит работу.
Я такого не ожидал от ноды.
В чем проблема? и как протестировать на асинхронность веб сервер и как сделать так чтобы по этому адресу 127.0.0.1:8080 можно было конектится в 100 потоков?

От fs.readFileSync никак не избавиться

Comments

[Lynn «Кофеман»]

Вы не испоьзуете самый главный козырь ноды - асинхронность. Зачем вам тогда вообще нода?

Answer 1

[DevMan]

нода никогда и не была многопоточной из коробки.
Долгая операция (конвертация картинки) блокирует сервер, что делать?

Answer 2

[grinat]

var cluster = require('cluster');
var http = require('http');
var numCPUs = 100;

if (cluster.isMaster) {
    for (var i = 0; i < numCPUs; i++) {
        cluster.fork();
    }
} else {
    console.log('created ' + process.pid)
    http.createServer(function(req, res) {
        res.writeHead(200);
        res.end('process ' + process.pid + ' says hello!');
    }).listen(8000);
}

Ну или так:

npm install pm2@latest -g
pm2 start app.js -i 100

Comments

[rPman]

это обычный форк процесса? как разруливается что несколько процессов работают с одним и тем же сетевым портом?

[DevMan]

это не решение проблемы, лишь её отсрочка.

[grinat]

rPman, https://nodejs.org/api/cluster.html#cluster_how_it...

Answer 3

[Developer]

Надо ноду менять на Go

Comments

[urgjfvuirakjkd]

Developer Есть копия примера на ГОУ?

[Антон Соломонов]

async function (req, res) ...

[Кирилл Кудрявцев]

Антон Соломонов, Антон Соломонов, это не многопоточность

[Антон Соломонов]

Кирилл Кудрявцев, она в данном случае и не нужна.. а если и нужна, grinat уже предложил вариант с кластером.

Answer 4

[Кирилл Кудрявцев]

Нет таких ситуаций когда от fs.readFileSync не избавиться, проблема уже в разработчике, который пытается избавиться.
Вся ваша проблема в синхронном fs.readFileSync.

Answer 5

[ofigenn]

Из кода непонятно в чём проблема. Само по себе синхронное чтение файла блокирует поток только на время чтения. Файлы большого размера? сколько памяти на сервере?
А вот отправка буфера, будет идти асинхронно. И в этом случае странно, что второй запрос, выполняется строго после первого.
Идеально, конечно использовать fs.createReadStream. Тогда проблем не будет ни с памятью ни с блокировками.

Answer 6

[Gaito]

Конечно всё правильно, что нечего использовать синхронные операции, такие как fs.readFileSync, и обычно вручную поднимать несколько потоков в ноде мало кому нужно, но это не значит, что такой возможности нет совсем, как об этом пишут во многих источниках.

Для организации многопоточного приложения в ноде есть child_process https://nodejs.org/api/child_process.html

Но например решить проблему с конкурентным доступом к большим файлам сам по себе он не поможет и придётся сильно попотеть для этого. Подобное интересно сделать в академических целях, но на практике куда проще, быстрее и дешевле масштабировать сервис, поднимая несколько его инстансов и распределяя трафик по ним при помощи балансировщика.