трассировка лучей (или рейтрейсинг, так проще гуглить) - как понятно из названия, отслеживание пути лучей. Для того что бы в этом разобраться для начала вы должны понимать природу света и цвета.
То есть у вас есть сцена допустим с кубом и источник направленного света (что бы было проще, что-то типа фанарика). Куб этот цвета фактически не имеет, у него есть коэффициенты поглащения различных длин волн и отражающая способность. Когда свет попадает, часть спектра поглащается, часть отражается и там в глаза приходит уже цвет.
Суть алгоритмов как раз в этом, проследить путь света от источника к глазам, со всеми отражениями и т.д. что бы вычислить цвета. Это и есть алгоритм, а реализаций его есть много самых разных, но в общей сути они примерно схожи, разница в оптимизации. Скажем проще отслеживать путь лучей от глаз к источнику освещения, так как таким образом мы обсчитываем только видимую часть сцены и можем сильно сократить объем вычислений. Словом... дальше гуглить. На эту тему много информации.
Простой
