Имеется веб приложение работающее на 4000 порту
Конфиг nginx слушает обращение к домену имени и реализует проксирование на данный порт
server {
    listen 80;
    server_name example.com;
    location / {
      ...
      proxy_pass http://localhost:4000;
    }
}
Но также, так как у сервера есть ip адрес, то на сайт можно попасть просто перейдя в браузере по x.x.x.x:4000 
Вопрос:
Как запретить пользователям заходить по прямому ip адресу x.x.x.x:4000 ?