Потому что никто не заморачивался с реализацией кодировщика h264 на cuda, ибо это всё-таки не очень простая задача.
nvenc - это кодирование через выделенный аппаратный модуль, который даже cuda ядра не использует.
Бтв nvenc появился в gtx 750ti
Даже в теории видеофайл можно спокойно целиком закинуть в видео память
Тебе не нужно загружать видео на видеокарту целиком для кодирования.
Даже моя p106 не имеет NVENC
Потому что это видеокарта для майнинга крипты, а не для работы с видео)
Советую ещё самостоятельно почитать вики ffmpeg по поводу того, что можно ускорить аппаратно:
https://trac.ffmpeg.org/wiki/HWAccelIntro