При создании сертификата через Let’s Encrypt, можно указать только доменное имя сервера, а не IP.
В обоих случаях один бот был на домашнем компе с VPN, а второй на сервере. Разница лишь в сертификатах. "Домашний" бот работает только с сертификатом от Let’s Encrypt, а бот на сервере работает нормально с любым сертификатом.