сперва нужно сделать вилку: хотите весь видео-трафик пускать через себя (со всеми минусами и плюсами) или хотите p2p общение. Затем выбрать кому будет доступен видео-чат: a) "только тем у кого есть флеш" (думаю тут и надо остановиться :-) ) b) "обладателям Chrome" c) "Ios & Android"
самая простая комбинация (и то что я делал): p2p для флеш (технология на которой чатрулет летал). куча материалов и примеров.
самая "гиковая", наверное p2p для Chrome (на технолонии WebRTC)
если всё же решили трафик через себя пускать то тут наверное какая-нибудь wowza /erlyvideo/moment server. openmeeting возможно. Тут опыта у меня не было.