Вы можете использовать самоподписанные сертификаты. Но для того чтобы системы доверяли самоподписанным сертификатам, вам необходимо также создавать корневой сертификат и добавлять его в систему перед началом использования, а также создавать ещё, хотя бы один, промежуточный. Должна получится цепочка, в которой каждый нижестоящий сертификат подписан вышестоящим. Тот сертификат, который выше всех в цепочке - и есть корневой и его нужно добавлять в систему, а тот, который ниже всех, должен отдаваться сервером, будь то vsFTPd, RDP, или ещё что-либо
Статья по настройке на Хабре 
