А зачем? Точнее так - а есть ли смысл изобретать велосипед? Если вам нужно уметь открывать файл определенного формата - то лучше поискать для него готовое решение. Для графики - ImageLib например. Сэкономите тонну нервных клеток.
Можете попробовать такую механику — при вызове функции библиотеки в нее предаете колбек. Когда библиотека точно отрисует картинку (надеюсь, это можно проверить) — она вызовет колбек основного приложения.
Если вы делаете последовательно передачу в dll пути, отрисовку и передачу хендлера обратно, то возможно библиотека просто еще не успела загрузить и отрисовать.