Как сказал Lerg, используй OpenCV.
Там есть средства для работы с raw форматом, коррекции, базовые операции и не только.
Скорости тебе хватит, я как-то делал вывод fullHD видео со скоростью 60 fps совместно с прожорливыми алгоритмами.
И базовое окно для вывода изображений само генерит поток отдельно для вывода.