Александр Павлюк

Основная проблема в том, что рейтрейсинг в том виде, что вы описали, хорошо работает разве что в мире, где все состоит из зеркальных поверхностей. Но в реальном мире практически все поверхности рассеивают свет в случайных направлениях в какой-то степени. Поэтому вам не хватит одного луча на пиксель, придется усреднить много лучей, чем больше лучей усредните, тем меньше будет шумов на картинке. Или использовать какие-нибудь хитрые вероятностные модели (Importance sampling, например).

Без этого всего освещение и поверхности не будут выглядеть реалистичными.

1. Разобраться как работает WebGL, как работают вертексные буферы, как работают шейдеры.
2. Написать на WebGL вертексный шейдер, который интерполирует позицию между координатами из двух буферов. Таким образом можно будет передать в шейдер два буфера и параметр плавного перехода между ними (число между 0 и 1).
3. Добавить в шейдер управление цветом (на указанном сайте чем точка дальше от камеры, тем она ближе к серому по цвету).
4. Добавить в шейдер еще один числовой параметр для случайного отклонения точек от своих координат для эффекта "разваливания" модели при действиях мыши.
5. Собрать весь пайплайн рендеринга, рендеря точки как спрайты с текстурой или же генерируя текстуру кружка во фрагментном шейдере (тут надо посмотреть, что из этого будет быстрее работать).
6. Написать программу, которая распределит N точек случайным образом внутри нескольких предоставленных моделях и сохранит данные всех расположений точек в файлы, которые будет потом грузить веб-приложение. Можно использовать Blender и геоноды там, у них есть уже готовая функция заполнения модели точками. Главное потом сохранить в таком формате, чтобы было удобно читать в вебе.
7. Собрать все компоненты вместе, чтобы при скролле и движениях мыши отправлялись нужные параметры в шейдер (две текущие модельки, бленд между ними, случайное отклонение точек, углы камеры)

Это можно сделать в любом редакторе, который умеет в ретопологию, например Blender. Включается магнитиком вверху.

https://www.youtube.com/watch?v=OY7FlJ8xTz0

Возможно, выбран регион картинки для рендера? Нажмите ctrl+alt+b, чтобы его сбросить.

Есть бесплатный Blender, в котором можно писать скрипты на Питоне и плагины тоже на нем.

Плюс, там есть геоноды, с помощью которых можно визуальным программмированием делать процедурное моделирование.

Самый простой способ это сделать такой шейдер


Потом заанимировать параметр factor у ноды mix
При factor=0 будет отображаться первая текстура, при factor=1 вторая. В промежуточных значениях текстуры будут плавно смешиваться

Если нужно чтобы текстура натекала не по всему объекту сразу, а ближе к эффекту на видео, снизу вверх, например, то это уже сложнее. Нужно будет factor брать из третьей градиентной текстуры и анимировать её маппинг по объекту.

У автора на низкополигональный объект наложен модификатор subdivision surface, поэтому он может двигать большие полигоны на низкополигональной модельке и у него будет плавно деформироваться высокополигональная геометрия, которую создаёт subdivision surface.
Судя по вашей картинке, вы применили (apply) модификатор и работаете с уже высокополигональной сеткой. Не нужно применять модификатор, работайте с низкополигональной сеткой.

Blender, правда, на него сложно будет после Макса переходить, ибо флоу работы сильно отличается (по себе знаю, я именно так переходил).
Там и простой моделинг есть и скульпт есть и процедурная геометрия на нодах. При этом бесплатный, легковесный и стабильнее, чем Макс.

Unreal Engine имеет по-умолчанию как раз шаблон простой бродилки. Так что вам достаточно будет создать там новый проект, указать тип 3д-шутер и накидать простенькую карту.
Если нужен какой-то интерактив, там тоже это можно сделать без программирования на основе соединения логических нод.

С помощью библиотеки https://threejs.org/

Хороший цикл статей на хабре, который помогает понять, как работает рендеринг 3д-графики. https://habr.com/ru/post/248153/
Чтобы понять, как работает перемещение и поворот камеры, нужно прочитать 3 части этой статьи: "4. Необходимая геометрия: фестиваль матриц"