Включите аппаратную виртуализацию в BIOS и VirtualBox. Тогда при отсутствии активности в виртуалки у вас практически не будет падать производительность. Сам почти постоянно использую virtualbox на работе (i7-2600/8Gb/Fedora) когда лень на esx разворачивать, и изредка дома (A-10 5800/8Gb/Win7), и как то в коммандировке пришлось поднять виртуалку на Yoga 11s (Pentium 2129Y/4.0Gb/SSD/Fedora). Провалов производительности связаной с процессором не замечал, даже на слабом процессоре нетбука, если, конечно не запускать zip в несколько потоков в виртуалке. Но диски Хост машины и виртуалки лучше разделить физически. По дискам падение производительности заметно при IO операциях в виртуальной машине.