Не обязательно переписывать узкие места на Rust, который не так уж и прост в особенности для web-разработчика. Например можно относительно просто портировать на AssemblyScript (надмножество Typescript которое компилируется в WebAssembly). При том, что такие работы даже уже ведутся в этой ветке (пока только для математики):
https://github.com/vtange/Babylon.js/commits/math2wasm
Так же можно почитать дискуссию тут:
https://github.com/BabylonJS/Babylon.js/issues/324...
Но как человек знакомый с AS могу сказать, что там можно сделать намного эффективнее.
