Закройте VirtualBox перед выполнением команд.
Откройте командную строку и введите
Для windows:

cd "ваш/путь/к/virtualbox"
VBoxManage.exe setextradata "Your VM name" VBoxInternal2/EfiGraphicsResolution 1440x900 (или 1920x1080, и т.д.)

Для Linux:

VBoxManage setextradata "Your VM name" VBoxInternal2/EfiGraphicsResolution 1440x900

Запустите вашу виртуальную машину.