я создал через openssl самоподписанный сертификат и использовал его
Тяму создать сертификат хватило, а положить его в корневые - нет? Мало создать сертфиикат, надо, чтобы ему доверяли. Доверяют сертификату, валидность которого проверена.
Что такое "валидность проверена"? Это значит, что сертификат либо находится в специальном хранилище валидных сертфиикатов, либо выпущен в CA, корневой сертификат которого находится в хранилище валидных сертификатов. В винде это хранилище называется "Доверенные корневые центры сертификации".