Если действительно
четкого условия нет. Можно только предположить, что x ≤ y ≤ z . Ограничений по равенствам нет.
то рассуждаем следующим образом:
X максимум из a и b, Для определенности, возьмем либо a < b либо a=b (раз равенства допускаются).
Т.е. уже имеем b=Х. Для a должно выполняться условие a<=b.
Из условий Y=max(a,c), Z=max(b,c) и условия a<=b следует, что с>=b. Тогда с=Y, с=Z.
Следовательно, условию удовлетворяют только такие пары, у которых либо все три заданных числа X,Y,Z равны между собой, либо X < Y=Z и тогда b=Х, с=Y=Z, a - произвольное число, меньшее либо равное b.
Алгоритм свелся к тому, что вы проверяете, выполняются-ли указанные условия и если одно из них выполняется, непосредственно получаете свои а,b и с без всякого подбора.