В простейшем случае так:
openssl rsautl -encrypt -inkey public.pem -pubin -in secret.txt -out secret.enc
Но TLS это не только шифрование, это еще и согласование шифров, SNI и т.д.
У openssl есть режим tls клиента, вероятно лн будет полезнее
openssl s_client -connect site.com:443