Под линуксом просто пользуешься docker и не думаешь о тяжёлой виртуализации уровня virtualbox
А под виндой, насколько я знаю, там синхронизация на сетевом уровне, что-то вроде самбы, считай у вас папка расшаренная по сети, потому так медленно и работает. (Но это не экспертное мнение, возможно можно как-то ускорить)