Если взломали сервер - хакер либо достанет все ваши ключи прямо из незашифрованного хранилища, либо перехватит в момент передачи из шифрованного хранилища в приложение (сложнее), либо из памяти процесса (ещё сложнее, но вполне реализуемо).
Способ защиты в вашем случае - недопущение взлома, а не нагромождение лишних сущностей.