Старенький он уже. Кодеков мало поддерживает. Единственное, что можно попробовать, явно DeviceType задать, может он его по расширению файла сам выбрать не может, но вряд ли поможет. Рекомендуют например Windows Media Player использовать. Windows Media Player in Delphi
А до этого работал? Нужно задать место, где будет выводиться картинка (желательно панель). Примеры поищи. Но рекомендую использовать VLC. У меня в репозитории есть модифицированная ветка для VCL и FMX и пример в виде IPTV плеера.
P.S. скинь пример видоса или расширение, которое использует видео-файл.