Кмк никакого алгоритма в большинстве случаев нет. Берешь либо то, что лучше всего знаешь, либо то, с чем хочешь поработать и более-менее уверен в этом.
Альтернативы - WebGL/Canvas. Самая наверное популярная библиотека, которая заточена под всяческое 3d - Three.js
Вот статья на хабре: habrahabr.ru/post/123400