Создать объект класса CLog и вызывать его сигнал signalADDlog с нужным тестом. Правда, непонятно к чему тут сигнал, если можно вместо него использовать обычный метод.
Вам нужно сначала собрать libx264 из исходников, скопировать libx264-128.dll в $ {MinGWDir}\bin, libx264.dll в $ {MinGWDir}\lib , а потом уже собирать libav с опцией --enable-libx264
Используйте префикс L перед литеральными константами, либо собирайте проект в Multibyte Charset, а не Unicode (настраивается в свойствах проекта в Visual Studio).