На Windows XP при установке Decklink-овской карты появляется т.н. extended display - рабочая область с соответствующим разрешением. Её отлично видно подключившись к компу radmin-ом. Окно вывода ffmpeg перетащенное туда будет вполне себе идти на SDI-out. Если нужен звук, то, наверное, придётся возиться с virtual cables или сделать всё то же, но через vlc - там же перенаправить вівод звука на Decklink Audio. На ОС выше WinXP от расширенного дисплея отказались из-за проблем с разницей в цветности (такое встречал у них на форуме).