Вам нужно сначала собрать libx264 из исходников, скопировать libx264-128.dll в $ {MinGWDir}\bin, libx264.dll в $ {MinGWDir}\lib , а потом уже собирать libav с опцией --enable-libx264
Используйте префикс L перед литеральными константами, либо собирайте проект в Multibyte Charset, а не Unicode (настраивается в свойствах проекта в Visual Studio).