Как полностью закрыть SMTP порт?

Если порт закрыт, то он закрыт для Любых соединений, в том числе проходящих. Если закрытием порта дело не решается, всегда можно наложить ограничения со стороны агента (на примере postfix)

Почему не могу подключиться к соседней машине в virtualbox?

Попробуй задать для nginx адрес не 127.0.0.1:8080, а его фактический адрес в разрезе той подсети, где host1 связывается с host2 (192.168.56.101)