Есть много открытых реализаций типовых алгоритмов, например в
TuttleOFX или
Natron. Какие-то вещи вы можете посмотреть там.
Что касается новых алгоритмов, тут всё просто: есть рынок, и есть хотелки артистов. Если на рынке нет какой-то хотелки, которую бы потенциально купили много студий, то VFX компании запускают исследовательский процесс (в R&D подразделениях). Если всё ок и можно реализовать, то пилят что-то новое, параллельно вкидываясь в маркетинг.
Ещё может быть вариант с "предвидением тренда". В VFX компаниях есть много специалистов с серьезным бэкраундом, которые могут понять чего именно не хватает артистам или чего будет нехватать. Есть понимание, выделяется время, проводится исследование и реализация параллельно с маркетингом.
Опять же, есть, например Siggraph и множество других VFX конференций и семинаров, после которых рождаются интересные идеи, и чаще всего не у классных учёных :)
По-моему, всё также, как и для других отраслей.