Вам нужно сначала собрать libx264 из исходников, скопировать libx264-128.dll в $ {MinGWDir}\bin, libx264.dll в $ {MinGWDir}\lib , а потом уже собирать libav с опцией --enable-libx264
Имхо, если бы это можно было делать скриптом - это была бы большая дыра в безопасности IE.
PS. Оказывается можно через редактирование реестра (с правами админимтратора)