Нашлось решение проблемы(багтрекер)
В папке с исходниками(source) надо перейти в /cmake/ и поправить настройки компиляции(в файле OpenCVCompilerOptions.cmake):
закомментировать строчку
Могу предложить посмотреть как это делается в MSYS2. Посмотрите патчи которые они накладывают перед сборкой. Если цель просто получить собранную библиотеку проще взять установщик и скачать все необходимые для работы библиотеки через него.