Это значит, что дефолтный сайт и тот, который использует имя - это могут быть разные сайты.
Сайт с именем настроен, а дефолтный либо не настроен, либо настроен неправильно.
Например, в конфигах nginx есть секция server, в которой указывается server_name и является ли он дефолтным.
Если вы не передаете заголовок "Host: randomname", то не факт, что соединение будет с тем самым сервером.
Как можно проверить, какой сертификат отдается - попробовать openssl:
openssl s_client -showcerts -connect 10.255.0.20:4005
Если вы получите TLS-сертификат сервера, значит на уровне SSL/TLS соединение устанавливается и дело в настройках самого сервера.
