Нужно выяснить значение производной какой из них для любых значений n будет больше.
Производная функции ведь и есть функция прироста значения функции.
К алгоритмам прямого отношения не имеет, чистая алгебра.
www.wolframalpha.com/input/?i=plot+n%5E(log(n)),+n%5E2
функции пересекаются в точке n~=7,39 до этого значения n^2 растет быстрее, а после - n^log(n)