Если у вас разограничение по портам, то можно на каждый порт сделать по "дефолтному" конфигу, который будет обрабатывать все соединения, которые не подошли к "нужному" server_name .
Хотя, если честно, я не совсем понимаю, зачем вам нужен 81 порт ? Вешайте оба сайта на 80-й порт + один конфиг для "левых" соединений. Я, например, использую такой:
server {
listen 80 default; ## listen for ipv4
listen [::]:80 default ipv6only=on; ## listen for ipv6
server_name blahblahbla;
access_log /var/log/nginx/localhost.access.log;
return 444;