Нашёл решение, как это сделать с помощью Панели управления Nvidia. Заходим в пункт "Параметры 3D -> Управление параметрами 3D -> DSR-степень":
Можно поставить 1.78x (это WQXGA разрешение 2560×1440) и 4.00x (это 4К разрешение 3840×2160). Я поставил все галочки, и мне стали доступны все разрешения. DSR-плавность не трогал и оставил 30%.
Теперь в параметрах экрана Windows будут доступны разрешения, которые не поддерживаются монитором:
Выбираем 4K. Далее запускаем VirtualBox, но перед тем, как запустить ОС, нажимайте "Файл -> Настройки -> Дисплей". Максимальное разрешение: выбираем "Любое". Жмём ОК:
После запуска ОС, переходим в режим окна (чтобы нам стало доступно меню сверху). Нажимаем "Вид -> Подогнать размер экрана гостевой ОС":
Все!
UPD.:
Еще одно решение.
Нужно в консоли выполнить следующие команды:
VBoxManage startvm "winxp"
VBoxManage setextradata global GUI/MaxGuestResolution any
VBoxManage setextradata "winxp" "CustomVideoMode1" "3840x2160x32"
VBoxManage controlvm "winxp" setvideomodehint 3840 2160 32
где winxp - название вашей ВМ
Первая команда снимает ограничения на максимальные разрешения.
Вторая команда определяет пользовательский видеорежим для конкретной виртуальной машины с именем "winxp".
Третья команда устанавливает пользовательский режим для вашей виртуальной машины.