Вы ничего не сказали о ширине полосы обработки выходного сигнала, цап на 300 Мгц ничего не говорит, так как на такой частоте можно выводить как моно частоту , так и <150 Мгц широкополосный сигнал.
Вы не сказали про вид обработки и формирования "сложного сигнала" , можно его формировать налету из больших массивов памяти используя только DMA для пересылки отсчётов из памяти в ЦАП , а может вам придётся проводить сложную фильтрацию или расчёт выходных отсчётов с помощью математических формул.
Я бы всё делал на FPGA .