arto

Много чем можно воспользоватся на стороне сервера:
1. AuthorizedKeysCommand -- проверять скриптом
2. AllowUsers/DenyUsers/AllowGroups/DenyGroups -- конкретно указать кого именно не хотите
3. AuthorizedPrincipalsCommand/AuthorizedPrincipalsFile -- работать с authorized_keys
4. Завести для ssh собственный встроенный CA
5. Через PAM

# host -t txt site.ru.
site.ru has no TXT record

1. нет. почему я должен быть ограничен в выпуске сертификатов для моего домена?
2. может, поэтому смотреть на HPKP и тому подобное.
3. https://en.wikipedia.org/wiki/Certificate_Transparency ?

ощибка

6056:error:02001003:system library:fopen:No such process:crypto\bio\bss_file.c:7
2:fopen('C:\Program Files (x86)\Common Files\SSL/openssl.cnf','r')

говорит нам, что у вас отсутствует

C:\Program Files (x86)\Common Files\SSL/openssl.cnf

посмотрите на отдаваемые сервером сертификаты (-showcerts).