Это очень сложно. Если ваша камера тоже будет ездить, то она должна передавать изменение своих координат вместе с потоком. В делание такого видео не live, обычно используются tracer'ы, которые восстанавливают изменение координат камеры, за счёт изменения конкретных точек на изображении. Чтобы делать то же самое online вам понадобиться сверхмощные компы. Поэтому лучше передавать координаты камеры отдельно.
Чтобы герой реальный человек мог взаимодействовать с 3D-объектами, а самое главное — частично перекрывать их от зрителя, человека нужно снимать на зелёном (синем) фоне, а потом накладывать задний фон (тут он — сцена и зал) вместе с 3D-объектами.
К сожалению конкретных программ сейчас предложить не могу, тут нужно изучать, что существует на данный момент.
