Напишите побольше подробностей, какая точно версия VirtualBox, версии ядра в госте и на хосте, редакция server/desktop, архитектура?
Совсем недавно ставил на одном компе VirtualBox 4 (GUI) + Ubuntu 10.10 Desktop amd64 и VirtualBox (Headless) 3.6 + Ubuntu 10.10 Server amd64. Всё было нормально, за исключением двух курсоров в окне. На сервере без иксов работел через VRDP. После устанвоки Guest Additions всё нормально стало. Какой объем RAM выделен гостю? У меня была проблема с установщиком Unity, он в конфиге больше 4 гигов вылетал при установке.