Почему Rabbitmq начинает тормозить при отправке большого числа конкурентных запросов?

Question

[un1t]

Проверяю производительность rabbitmq.
Отправляю от 10 тыс до 100 тыс сообщений в очередь. Все нормально, вставляется примерно по 4 тыс/сек.
Увеличиваю число для отправки со 100 тыс до 200 тыс. Все rabbitmq начинает работать очень медленно, вставляется примерно по 100-200 запросов в сеунду.

var amqp = require('amqplib');
var when = require('when');


amqp.connect().then(function(c) {
    var num = 100000;
    var cnt = 0;

    function mkCallback(i) {
        return function(err) {
            cnt++
            if (i % 1000 == 0) {
                console.log(i)
            }
            if (err !== null) {
                console.error('Message %d failed!', i);
            } else {
                //            console.log('Message %d confirmed', i);
            }
            if (cnt == num) {
                c.close()
            }
        }
    }

    c.createConfirmChannel().then(function(ch) {
        var queueName = 'mytest'
        var common_options = {
            durable: true,
            noAck: false
        };
        ch.assertQueue(queueName, common_options);
        for (var i = 0; i < num; i++) {
            ch.sendToQueue(queueName, new Buffer('blah'), {
                'deliveryMode': 2
            }, mkCallback(i));
        }
        //    ch.waitForConfirms().then(function() {
        //      console.log('All messages done');
        //      c.close();
        //    }, console.error);
    });
});

Answer 1

[abcyu]

А почему Вы считаете, что это виноват RabbitMQ, а не NodeJS

Comments

[un1t]

Я не знаю, на чьей стороне тут проблема, возможно node.js виноват.

[abcyu]

un1t:
померяйте другим способом:

- у вас же мало кода в этом тесте. напишите код на другом языке, например Go (если брать версию 1.5, то она хорошие нагрузки держит)
- запустите с разных компьютеров (или с виртуалок соединенных по 10G, чтобы на сети не тормозило).
- попробуйте на другом железе.
- еще как-нибудь измените условия.

засеките расход оперативной памяти.
недавно была подобная задача - оказалось по мере роста нагрузки жралось все больше памяти и с некоторого момента, когда начиналось использование свопа, скорость катастрофически падала.

при том, что запущенный на той же машине RabbitMQ, не особо жрал память.
а жрала память именно программа, отправляющая в RabbitMQ данные.