Еще есть подход "что написать...". Так вот я бы еще предложил начасть с подобия
smallpt. По окончанию написания такой программы на 100-200 строк вы будете знать основы векторной алгебры, тригонометрии и аналитической геометрии, теорию вероятности, расчет интегралов для построение математической модели освещения, что такое флакс, итд. Также ознакомитесь с OpenMP. Удачи.