Выглядит как классический SSL с сертификатами клиента и сервера. Но разложить это на вашу теорию мне мат аппарат не позволяет (и память. скорее память).
Вы защищаете передаваемые данные или сам сервер?
Если первое - переходите на SSL соединение и всё. На сервере https, на клиенте проверка серта средствами OS.
Если нужна защита сервера - то шифрование диска, вход по смарт -карте и тд.
