Много чем можно воспользоватся на стороне сервера:
1. AuthorizedKeysCommand -- проверять скриптом
2. AllowUsers/DenyUsers/AllowGroups/DenyGroups -- конкретно указать кого именно не хотите
3. AuthorizedPrincipalsCommand/AuthorizedPrincipalsFile -- работать с authorized_keys
4. Завести для ssh собственный встроенный CA
5. Через PAM
несколько непонятен вопрос -- у вас приложение слинковано с openssl библиотеками? вам ssl handshake нужно смотреть или данные в поднятой сессии?
траффик можно смотреть через wireshark, если надо смотреть внутри сессии, то SSL_set_msg_callback/SSL_set_msg_callback_arg и SSL_set_tlsext_debug_callback/SSL_set_tlsext_debug_arg.