Можно использовать пакет XCA, и поднять УЦ, с цепочкой сертификатов, корневой обязателен, дальше на выбор промежуточные либо сразу клиент-серверные сертификаты. Ставите на машины корневые сертификаты в доверенные. Либо же, пойти через покупку домена, и созданием wildcard сертификата на поддомены, в днс панели создаёте поддомен вбиваете туда хоть локальный ip, ставите на локальный сервер ключ с сертификатом и получаете валидные сертификаты let'encrypt в локальной сети.
