Redis Почему долго выборка?

Question

[Castiel]

Есть серв с редис, 250-400к записей и все ответ вборки по ключу долгий от 10 до 30 сек.. ключи вида word_123_user_3

Может чтото не верно делаем или какое то другое есть решение чтобы быстро паралельно записывать и считывать информацию?

Comments

[AlikDex]

наверное вы просто не учли особенности редиса.
В приведенном вами примере длина ключа составляет 15 байт. Это Довольно много. Также не понятно размер значений в базе. Редис очень хорошо себя показывает если размер значений не превышает 100 байт. Дальше уже серьезное падение производительности. С учетом того, что это однопоточная база результат может быть весьма удручающим.

Советую погуглить бенчмарки на различной длине ключей и значений в сравнении с тем же мемкешем, например. И самостоятельно сделать выводы.

[Castiel]

AlikDex: ключ можно до w_123_u_123 сократить, значение каждого ключа это 1 и все + задается иногда срок данных.. мемкеш может решить задачу7

[AlikDex]

Castiel: прошу прощения, с ключами возможно не прав. Посмотрел нынешние тесты на размер ключа, и они показывают, что его длина незначительно влияет на производительность. Но в случае с размером значений это актуально.

Answer 1

[Андрей Буров]

Вы небось делаете кeys word_123_*?
https://redis.io/commands/keys

Warning: consider KEYS as a command that should only be used in production environments with extreme care. It may ruin performance when it is executed against large databases. This command is intended for debugging and special operations, such as changing your keyspace layout.

Используйте SCAN

Comments

[Castiel]

keys берется в сторонем скрипте, который обращается к этой же базе.. или это так же может повлияеть на работу exist или incrBY ?

[Андрей Буров]

Castiel: KEYS вообще использовать нельзя! читайте документацию.
Повлиять может, т.к. он возможно блокирует redis.

IMPORTANT NOTE: a VERY common source of latency generated by the execution of slow commands is the use of the KEYS command in production environments. KEYS, as documented in the Redis documentation, should only be used for debugging purposes. Since Redis 2.8 a new commands were introduced in order to iterate the key space and other large collections incrementally, please check the SCAN, SSCAN, HSCAN and ZSCAN commands for more information.

[Castiel]

Андрей Буров: спасибо за консультацию, будем переделывать

Answer 2

[ralaton121]

Есть еще Тарантул (trantool).
https://habrahabr.ru/search/?q=tarantool#h

Но я бы все же по другому начал - с профилирования.
То ли у вас плохо поиск отрабатывает.
То ли вы пытаетесь с сервера миллион уже отобранных записей закачать на клиента.
То ли ключ не соответствует тому что вы ищите.

Профилировать нужно.

Comments

[Castiel]

чем можно профилировать, есть какое то ПО специализирующее на редисе?