Имеет ли смысл использовать php-redis вместо yii\redis\connection?

Question

[Alzasr]

Возросла нагрузка на проект, начал профилировать и заметил, что почти половина времени уходит на fwrite и fgets, которые вызываются yii\redis\connection. Этот компонент напрочь не использует php расширение redis и конектится напрямую к серверу. Интерфейсы yii\redis\connection и \Redis не совпадают, вот думаю, стоит ли писать адаптер? Что-то мне подсказывает (ожидания во время fgets и fwrite - как я понимаю ожидание ответа от Redis и задержки не связаны с реализацией подключения), что игра не стоит свеч и надо масштабироваться.

Answer 1

[Fortop]

Недостаточно информации.

Помещаются ли все данные хранимые в Redis в оперативную память?
Настроен ли Redis для регулярных снапшотов на диск?

Ответы "нет", "да" означают что у вас значительно просаживается производительность. В первом варианте очень сильно практически все время , во втором варианте в момент создания снапшотов

Comments

[Alzasr]

Пошел гуглить, как ответить на ваши вопросы. Если не сложно, подскажите ))))

[Fortop]

Alzasr: info при подключении к редису через консоль и смотреть сколько памяти занимает ваши данные.

Там же по-моему можно увидеть включены ли снапшоты

[Alzasr]

Fortop: # Memory
used_memory:1583008552
used_memory_human:1.47G
used_memory_rss:1617821696
used_memory_peak:1585623688
used_memory_peak_human:1.48G
used_memory_lua:22528
mem_fragmentation_ratio:1.02
mem_allocator:jemalloc-3.2.0

# Persistence
loading:0
rdb_changes_since_last_save:2062
rdb_bgsave_in_progress:0
rdb_last_save_time:1432026849
rdb_last_bgsave_status:ok
rdb_last_bgsave_time_sec:53
rdb_current_bgsave_time_sec:-1
aof_enabled:0
aof_rewrite_in_progress:0
aof_rewrite_scheduled:0
aof_last_rewrite_time_sec:-1
aof_current_rewrite_time_sec:-1
aof_last_bgrewrite_status:ok
aof_last_write_status:ok

top показывает, что более чем 4 гигабайта памяти свободны. Т.е. данные помещаются в память. По второму вопросу видимо да, в настройках стоит
save 900 1
save 300 10
save 60 10000

[Alzasr]

Fortop: Спасибо. Вечером/ночью попробую отключить сохранение на диск.

[Fortop]

Alzasr: только учитывайте, что при отключении сохранения при падении редиса данные будут потеряны

[Alzasr]

Fortop: Да, это я понял, поэтому буду делать вечером/ночью, когда нагрузка небольшая и кеш можно отключить.

[Alzasr]

Fortop: Спасибо за инфу про info, оказалось база раздулась изза остоновленного скрипта и сохранялась ужасно долго

[Fortop]

Alzasr: если использовать только как кеш, то memcache проще и немного быстрее.

Плюс в нем не нужно следить за памятью. Он сам чистит если не хватает.

В самом же Редис тоже есть опции для expire данных. Они будут умирать через указанное время

[Alzasr]

Expire для кеша я использую. Помимо кеша в redis реализована очередь, вот скрипт, который разгребает эту очередь был остановлен. После чистки очереди база занимает 10-20 мегабайт. Я стараюсь не использовать более одного нового инструмента на проекте. На этом проекте новым был Yii2, а с redis я был знаком (в области использования, но не обслуживания).

Answer 2

[Mikhail Osher]

Попробуйте шардировать редис.
redis.io/topics/partitioning

// UPD

Возможно, проблема в fwrite/fgets делают лишние io операции.
Замерьте бенчмарки с нативным редисом.

Comments

[Alzasr]

У меня малость другая архитектура, редис используется в качестве кеша, и на каждый инстанс бэкэнд php сервера создается на этом же сервере инстанс редиса.

[Alzasr]

Я пытаюсь выжать от каждого инстанса по максимуму, на данный момент уперся в Redis

[Alzasr]

Да, я думал об этом. Но не думаю, что на тестовом сервере без нагрузки возникнут ощутимые разницы. Если ничего не поможет и будет свободное время, напишу адаптер и запущу на одном боевом сервере и сравню с другим, виртуалки одинаковые, нагрузка примерно одинаковая, думаю картина будет объективной.