все правильно думаете.
для каждого сайта делаете свое dns имя, все их направляете на один и тот же IP где у вас запущен nginx
потом читаете вот эту ссылку
https://nginx.org/en/docs/http/server_names.html
для каждого веб приложения своя секция server с соответствующим server_name
nginx определяет какой конфиг использовать по dns-имени, а его отправляет браузер при запросе.
