Во-первых, MP4 - не "расширение" (точнее - не только расширение файла), а контейнер.
Во-вторых, вам нужно в диалоге выбора формата рендера в разделе Output Format выбрать либо MainConcept AVC/AAC, либо Sony AVC/MVC (это - выбор контейнера), а затем выбрать и отредактировать по желанию пресет, где вы сможете выбрать настройки кодека видео, его битрейт, кодек аудио и т.п.
Благодаря тупизму разработчиков из Sony, там нет ни слова о h.264, но это именно он.
С другой стороны, если вы хотите использовать не встроенный в Vegas кодек, а установленный в системе, сначала выведите все в AVI с его использованием, а потом возьмите хоть ffmpeg, хоть handbrake, и перемультиплексируйте потоки из него в контейнер MP4 без пересжатия.