Первое, что я сделал - это поставил дополнение гостевой ОС, ставлю разрешение любое. Оно меняется и тут же все возвращается обратно. Так на любой гостевой ОС, по крайней мере линуксы.
Попробовал еще совет
VBoxManage.exe setextradata "W8 VM NAME HERE" CustomVideoMode1 1920x1200x32
отсюда
но не помогло тоже, как быть? Куда копать?