я посоветую вам посмотреть в сторону crtmpserver (rtmpd). Очень классная штука. В отличии от всяких red5, FMS, Wowza ест мало памяти. У нас на 2 крупных проектах она потребляет столько памяти и CPU что она даже не выходит на первую страницу в htop. Мы её допиливали под свои нужны. Все написано на C++ понятно и красиво. Говнокода 0%.