На текущий момент большинство используют флеш: заводят rtmp видео из flash плеера, на сервере какое-н видео приложение, например AMS/WOWZA как указали выше (red5 еще туда же). Чат (и вообще весь сопутствующий функционал), кстати, можно делать в рамках того же самого video приложения поверх rtmp. Так что все сводится к написанию флеш плеера с нужным функционалом, покупки лицензии, допустим на wowza, написанию скриптов (на java) для него.