Vitaly

Есть много открытых реализаций типовых алгоритмов, например в TuttleOFX или Natron. Какие-то вещи вы можете посмотреть там.
Что касается новых алгоритмов, тут всё просто: есть рынок, и есть хотелки артистов. Если на рынке нет какой-то хотелки, которую бы потенциально купили много студий, то VFX компании запускают исследовательский процесс (в R&D подразделениях). Если всё ок и можно реализовать, то пилят что-то новое, параллельно вкидываясь в маркетинг.
Ещё может быть вариант с "предвидением тренда". В VFX компаниях есть много специалистов с серьезным бэкраундом, которые могут понять чего именно не хватает артистам или чего будет нехватать. Есть понимание, выделяется время, проводится исследование и реализация параллельно с маркетингом.
Опять же, есть, например Siggraph и множество других VFX конференций и семинаров, после которых рождаются интересные идеи, и чаще всего не у классных учёных :)

По-моему, всё также, как и для других отраслей.

Просто открываете Кормена и изучаете главу про графы. Думаю, тогда вам станет многое понятно, в том числе и про то, какой алгоритм и почему лучше выбрать.

Во-первых, алгоритмизация это в большей степени математическая дисциплина. Так что привязка к языку сама по себе не важна для понимания принципов работы алгоритмов и алгоритмической сложности. Язык будет важет на этапе реализации, чтобы не написать всё криво и медленно.
Во-вторых, так уж сложилось, что Ruby применяется в основном с рельсами, т.е. для веб разработки, где знание классических алгоритмов не особо актуально. Не побоюсь дже сказать, что, вероятно Rails-разработчки этим набором знаний и раз в год не пользуется.

Лично я считаю, что любой разработчик должен знать как работает компьютер, ОС, уметь оценить сложность алгоритма и пр. Хотя бы на базовом уровне. Т.е. общая IT-культура, так сказать. Но увы, сейчас в моде другой подход, и многие программисты -- просто пользователи фреймворков. Не холивара ради, просто моё мнение.

Хотите изучить алгоритмы, почитайте Кормена. Не слишком любите математику? Тогда Седжвика (книги с примерами на Java и C++ есть, а так же видео курсы в интернете). По руби советую почитать книгу (она не по алгоритмам): Ruby under a microscope.