Можно просто пробросить 22 порт из виртуалки на localhost (гугл virtualbox port forwarding). После таких манипуляций сможете подключаться к SSH серверу по IP адресу Вашего реального компьютера, но соединение будет перебрасываться в виртуалку.
Вот здесь можно подглядеть:
stackoverflow.com/questions/9537751/virtualbox-por...
Ваш случай - "Host -> Guest"