Laplace

Вот железка в компьютере: AVerMedia Game Broadcaster HD — видеозапись с игровых консолей

А так вообще процессоры SandyBridge/IvyBridge имеют графическое ядро, которое может энкодировать без нагрузки на CPU.

Без H.264 тяжело, вспомните про мобильные девайсы, они тоже его захотят. Почему бы не использовать x264?

Консольный видеоконвертер — например ffmpeg или что-то более специфическое. Но поиск настроек, которые будут гарантировать воспроизведение в 100% браузеров — задача та ещё.

Можно попробовать посмотреть исходники Flowplayer, но не уверен, что поможет.