Тут не тег "физика" нужен, а "биология". С точки зрения физики - эта задача не имеет смысла, ну не соответствует набор интенсивности трех длин - длине какого-то другого цвета.
Это задача подобрать такую длину волны, которая стимулирует средний человеческий глаз так же, как набор из трех разной интенсивности. Тут надо знать спектры чусвтительности разных
колбочек и оттуда уже плясать.
Еще надо помнить про
специфику работы мониторов - эти самые числа в RGB задают квадратные корни интенсивности свечения разных пикселей.
Еще, возможно будет легче сначала преобразовать RGB в какой-нибудь YUV или HSL.