Как управлять ключами - зависит от логики приложения. Если используется расширение для PHP (что за расширение?), то надо знать под капотом по какой логике создаются ключи в кэше и истекает ли для них срок, после которого они удаляются из памяти. Бездумно отдавать кэш на все про все - 128 МБ памяти не хватает - демон начинает активно искать как освободить память, что ведет к задержкам.
У нас в приложении тоже были задержки свыше 1 секунды, что для Мемкеша что-то экстраординарное. И тоже было связано с заполнением памяти.
Пути решения:
1. добавить память Мемкешу
2. искать способы уменьшения ключей и ограничения срока их жизни.