Как работает Redis при одновременном доступе нескольких клиентов?

Question

[jshapen]

Первый клиент (локальный) пишет в список редис строку 50 байт 20 раз в секунду.
Допустим набрали 200 000 строк = 10 мегабайт
Второй клиент пытается получить первые 100 000 строк.
Передача через инет займет какое-то время.
Что в это время происходит с первым клиентом?

Answer 1

[Алексей Колосов]

Как уже сказали - Redis однопоточный, то есть запросы будут выполняться по очереди. Пока не сформирует данные для второго клиента, запрос первого не выполнится. Но следует понимать, что производительность Redis очень высокая. Настолько, что в случае 2 клиентов, один из которых 20 раз в сек пишет что-то в базу - вы просто не заметите задержки. Нормальная нагрузка для Redis это десятки и сотни тысяч запросов в сек, а то и млн.

Answer 2

[Сергей Тихонов]

Redis - однопоточный. Пока обрабатывается первый запрос, он принимает запросы от остальных клиентов и ставит их в очередь обработки. Поэтому не рекомендуется выполнять KEYS * на сервере с миллионом ключей.

Answer 3

[#]

если проект еще в стадии разаработки, может взглянете на aerospike? есть коммунити (бесплатная) редакция

ps картинка для привлечения внимания

ps есть еще ArangoDB, тоже по дефолту оптимизированная на in-memory, многопоточная, и плюшек вообще вагон

Comments

[Алексей Колосов]

какая то жутка картинка. Честно говоря сильно сомневаюсь, что такая разница может быть между onlyRAM СУБД и FlashSSD (или как там правильно), причем в пользу второго. Впрочем Aerospike хорошая СУБД и незаслуженно непопулярная. Единственно, в Redis все таки побольше всякого - и структур данных вроде больше и сервисов типа pub/sub (по моему в Aerospike нет), поэтому вопрос исходной задачи и условий

[#]

Алексей,

разница может быть между onlyRAM СУБД и FlashSSD (или как там правильно)

а по вашему кто есть кто? сразу честно скажу - сам НЕ эксплуатировал, но на сколько мне известно, Aerospike:
- real in memory (начнем с того, дефолтная конфигурация (ну по крайней мере полтора года назад) при старте разгоняла виртуалку, на 8 Гб RAM сразу... без данных .. )))
- эта СУБД заявляет о гарантированном времени отклика... (как думаете.. какой ценой?..

ps наличие коммунити редакции, как раз и позволяет топикстартеру сделать свои пробы... если он еще не повязан кучей зависимостей

[Алексей Колосов]

Шарпер, не могу в подробности, не изучал. но Aerospike вроде не чисто RAM система, она ею не ограничена, то есть данные хранятся на диске и читаются оттуда. В отличие от Redis, которые хранит, пишет и читает только в RAM (знаю про дамп, но это побочный и приятный бонус, не более)

[jshapen]

Задача такая:
Один локальный клиент пишет в бд со средней скоростью 20-30 раз в секунду (в пике 2000-3000 в секунду в течение 5-10 секунд)
2 000 000 - 3 000 000 записей в день по 50-60 байт
Ночью все обнуляется.
К бд подключаются до сотни клиентов-чтецов. Каждую запись нужно отправить в реал-тайме такому клиенту. Решил это с помощью SignalR.
Вторая часть задачи получать все записи с начала дня по простым фильтрам.
Сначала сделал на редисе. Но в конце дня если клиент запрашивает весь объем данных появляются ощутимые тормоза.
Присматриваюсь к тарантулу...

[#]

jshapen, ну так раз вы все еще в поиске, попробуйте и Aerospike

[jshapen]

Шарпер, Попробую.
Кстати, он поддерживает сжатие данных?

[#]

jshapen, кхм.. я ж не писал что знаю систему ))
желание влить свои 3 копейки в топик, навеяно прочтением (давно уже) поста - https://habr.com/company/targetix/blog/261745/ (взгляните, особенно с учетом того что вы дотнет используете, авторы поста тоже)

личный опыт - после нескольких попыток установить Aerospike на виртуалки под Hyper-V, с динамическим выделением памяти, выжирали у меня 8 Гб и падали.. позднее я выяснил что это минималка (для версии на тот момент).. но так же осознал что "не мой масштаб" ("из большого" я уже давно ушел..)

мои эксперименты, скорее уже лежат в диапазоне от brightstardb.com до https://www.arangodb.com/ (если заставлю себя пересилить неприязнь к js и понять его (мне 50+ сори))