Если уже так серьезно хотите, то Wowza
Если готовы сделать свое, то Nginx + nginx-rtmp-module + HLS
Железо надо считать после тестов. Для начала определитесь с форматом и качеством. Потом считаете среднее число пользователей на формат и качество. Получаете примерую нагрузку и прибавляете еще 30%.
Тут есть очень важный момент мультисерверности и конвертирования.
Оптимально будет иметь множество серверов с 1гб канал, xeon e3, 32гб и raid5 на 1-3Тб. Они будут использоваться только для отдачи. Оперативка для кэша наиболее популярных файлов. Если контент не будет храниться, то 16гб и диск на 1тб в зеркале. (всеравно надо использовать ramdrive или свопить на диск)
По поводу конвертирования есть очень важный момент, если вам не надо менять формат и качество налету, то вам хватит самого слабого cpu. Если надо конвертировать, да еще с минимальной задержкой, то придется раскошеливаться или на сервер с CUDA или на многоядерный CPU (12-24 ядра)
И видимо речь идет о UDP трафике, а не UPD
