Без перезагрузки нельзя. Но, можно установить её на соседнем разделе и при запуске вы сможете выбрать : Ubuntu или Windows.
Можно поставить виртуальную машину, но учтите, что для этого нужно относительно мощное железо, если вы будете использовать её параллельно VS Code, Chrome,двум миллиардам окнам архиватора, и так далее.
Самое простое решение: Взять ещё один ПК и поставить на него Ubuntu в дополнении с каким-то удалённым доступом. Так же можно сделать и наоборот.
Нагрузка на первый ПК будет гораздо меньше.