Попробуйте расписать все честно и посчитать, верхняя часть дроби
— 2 n^2 + (2 N + M — 2 m) n + mN — > max (можно разложить на множители и найти максимум относительно n)
Нижняя часть (n + m) ((N+M) — (n+m)), естественно минимизируется при n+m = (N+M), хотя здесь и возникает деление на 0. То есть если верхняя часть максимум, а нижняя минимум и эти значения согласуется, тогда есть ответ :) Естественно что максимум по очевидным причинам меньше 2