Вам не нужно компилировать библиотеку для Qt, вам просто нужно ее откомпилировать. Как она в дальнейшем будет использоваться (с Qt или без) роли не играет.
Для mingw - проще всего использовать не чистый mingw, а msys2+mingw. В msys2 есть менеджер пакетов и в его репах уже много готового для использования софта. Думаю, что openbabel там то же есть. Просто ставите пакет openbabel так же как в линуксе и используете в своем проетке. Кстати, там же есть и qtcreator и Qt и много чего еще.
Для msvc. Почему бы вам не использовать уже собранные бинарники библиотеки? Они, по моему, доступны для скачивания на официальном сайте.
Если все же нужно собирать, то вот тут есть инстркция:
openbabel.org/docs/dev/Installation/install.html#w...
Рекомендую собирать в командной строке, а не в GUI. Используйте преднастроенную командную строку msvc (ссылки на нее есть в меню Пуск, после установки msvs). В состав msvs уже входит cmake. Если уж очень хочется GUI, то запускайте cmake GUI из той же командной строки msvc, тогда cmake сможет найти микрософтовский компилятор.
Генератор cmake нужно выбирать тот, какой версии msvc у вас установлен в системе.