Что угодно, только не Red5. =)
А вообще, это сильно зависит от того, что вы хотите получить в итоге. Я всегда делал такие вещи c erlyvideo в качестве видеосервера, т.к. я знаю Erlang и могу внутрь сервера трансляций запихать еще и какую-то бизнес-логику - чат, user presence, уведомления, "звонки". Все, что требует долгоиграющих соединений с сервером, перекладывается внутрь Erlang VM.
А вообще, видеосервер может быть любой, конечно - зависит от языка, на котором вы хотите писать в него кастомные модули.
