Попробуйте добавить сертификат в Personal, Trusted People или Trusted Device
А вообще - не используйте самоподписанный сертификат.
Поднимите свой ЦС. Сгенерируйте сертификат ЦА, и сертификат сервера, который будет подписан сертификатом ЦА. На клиентах устанавливаете в корневые доверенные центры сертификации сертификат ЦА и будет вам счастье.
Можно использовать встроенный в Windows Server Центр сертификации, или использовать openssl.
Другой вариант - ослабить проверку сертификата у клиента. Думаю как-то это должно делаться в винде, возможно через реестр или GPO. Но я бы не стал этого делать.
