Вот полное решение.
Пусть исходные числа — a и b.
1. Очевидно, если числа не являются взаимно простыми — ответом будет бесконечность.
2. Известно, что любое число m может быть представлено как m = ka+lb при взаимно простых a и b.
Для того, чтобы m не было разложимым, должно выполняться одно из двух условий: k<0 или l<0.
Заметим, что (k+b)a+(l-a)b = ka+lb = (k-b)a+(l+a)b. Отсюда следует, что для неразложимом m должны существовать такие k и l, что k<0, l<a или k<b, l<0 (иначе можно будет найти разложение по одной из этих формул).
Поскольку нам известны ограничения сверху как для k, так и для l, притом эти ограничения независимы,
можно взять эти переменные по-максимуму.
m = (-1)a+(a-1)b = (b-1)a+(-1)b = ab-a-b.
Следовательно, для взаимно простых a и b ответом будет ab-a-b, а для имеющих общие делители — бесконечность.