В чём проблема захватить в RGB и конвертировать в YUV через cvtColor?
Камера действительно может не уметь выдавать видео в этом формате. По-хорошему, нужно определить список поддерживаемых режимов камерой, выбрать наиболее подходящий, выполнить захват, а потом конвертировать как угодно.