Почитать документацию на cvtColor() и осознать, что она принимает на вход объект изображения, а не VideoCapture(), который ты ей передаёшь. Так что тебе придётся преобразовывать в нужную цветовую систему каждый кадр отдельно.
А еще почитать доки на VideoCapture(), в частности, про метод read(). Пример кода
там есть.
