В конфиге просто нет редиректа у тебя, создай отдельный location с server_name *.site.ru; сделай на нем редирект с site.ru, также для *.site.ru получи wildcard сертификат letsencrypt
Нельзя создать поддомен с ip, внизу работает, потому что "servername _" принимает любой запрос к твоему вебсерверу.
Также ты можешь hosts у себя в системе поменять, и тогда domain.test будет работать