Про флэш забудьте. Вариантов, кроме WebGL, сейчас нормальных не имеется. По Open Source движкам могу говорить только про Blend4Web и ThreeJS.
Blend4Web - фреймворк. Русские разработчики, русская документация, полное создание сцен в Blender. Еще плюсы: готовый плеер, масса функций из "коробки" и визуальный редактор логики. Так как полностью интегрирован с Blender, то требуется знание последнего.
ThreeJS - просто библиотека. Много примеров и туториалов (в основном на английском). Сцены создаются в сторонних редакторах. Есть и свой собственный, но слабенький. Всеядный, жует много форматов 3D.
Blend4Web позволит вам быстрее развернуть проект, но требуется знание Blender. ThreeJS больше для программиста, но имеет несколько более широкий набор функций в API.
