В папке с исходниками есть файл README.mingw:
Установите MinGW and MSYS
Для установки libdmtx, скачайте и распакуйте the libdmtx source в папку вашего MSYS . По умолчанию она называется C:\msys\1.0.
Откройте MSYS shell и запустите следующее (напечатайте в консоли и нажмите enter):
$ ./configure
$ make
$ sudo make install
Зайдите в папку .libs:
$ cd .libs
$ ls
Вы увидите такой вывод
libdmtx.a libdmtx.la libdmtx.lai libdmtx_la-dmtx.o
В конце запустите
$ gcc -shared -o dmtx.dll libdmtx_la-dmtx.o -Wl,--out-implib,libdmtx.a
Теперь у вас должен быть работающий dmtx.dll в папке .libs.