Вычислите результант двух уравнений, он будет равен нулю тогда и только тогда, когда уравнения имеют общий корень.
См.
https://ru.wikipedia.org/wiki/%D0%A0%D0%B5%D0%B7%D...
Сами корни знать не обязательно, задача сводится к вычислению определителя матрицы специального вида, элементами которой являются коэффициенты уравнений.
См.
https://mathworld.wolfram.com/Resultant.html
https://mathworld.wolfram.com/SylvesterMatrix.html
Можно воспользоваться Maple:
resultant(x^2+m*x-6, x^2-3*x+2*m, x);
solve(2*m^3+10*m^2+6*m-18 = 0, m);
Итого:
результант = 2*m^3+10*m^2+6*m-18
общие корни есть при m=1 и m=-3
Что касается подсчета кол-ва корней в зависимости от m - я бы не усложнял. Предлагаю сосчитать дискриминанты каждого уравнения, затем найти интервалы/значения m, при которых уравнения имеют 2/1/0 действительных корней. Отдельно подсчитать кол-во корней при m=1 и m=-3. Затем свести все выводы воедино.
