Можно.
Достаточно на новой системе прописать в переменной окружения PATH путь в каталог bin mingw.
Дополнительно можно настроить переменные: MINGW_HOME и возможно MINGW_ALT_HOME
Они должны содержать путь в каталог установки MINGW.
MINGW_ALT_HOME - не обязательна, можно использовать, если вы держите 2 варианта mingw для сборки х32 и х64 приложений. Один (основной) прописываете в MINGW_HOME другой в MINGW_ALT_HOME.
Посмотрите что добавляет туда родной установщик, чтоб было понятней.
Я пользуюсь msys2 + mingw, то же легко переносится. Когда-то это делал. Но сейчас пришел к выводу, что это не имеет большого смысла. Сейчас переношу только домашний каталог пользователя msys2, его можно настроить в любое место в файловой системе.
Для msys2 дополнительно можно настроить переменную MSYS_HOME, она должна содержать путь в каталог usr msys2.
Эти переменные окружения используют IDE для нахождения установленных экземпляров mingw. Если собирать из командной строки, то достаточно PATH.