Какая операционная система?
Если windows.
Можно, но будет медленно, можно слегка ускорить чтение и запись,
за счет понижения надежности (при аварийном выключении хост машины можно потерять данные), включив принудительное кеширование, есть отдельно настройка в свойствах устройства (свойства диска, закладка устройства, включить принудительное кеширование записи) и есть опция в настройках виртуальной машины - в настройках контроллера диска включить кеширование.
Если список устройств (диски флешки) на машине меняется редко, то рекомендуется использовать флешку не как хранилище файла vdi а использовать прямой доступ к устройству, к сожалению в VirtualBox это можно делать только из командной строки, создав дисковое устройство с помощью
команды
vboxmanage internalcommands createrawvmdk -filename маленький_файл.vmdk -rawdisk \\.\PhysicalDrive0
тут \\.\PhysicalDrive0 это имя диска (не раздела), с его номером, порядок дисков смотреть в менеджере дисков. Порядок дисков меняется при подключении новых флешек, так что это придется отслеживать.