Переменная
n объявлена как целочисленная:
int n=1
Соответственно, результат выражения
((n-1)*(n-1))/n
тоже будет целым. Чтобы был вещественным, в выражении должно быть где-то использовано вещественное значение.
Можно выполнять для
n приведение типов:
((n - 1) * (n - 1)) / (float) n.
Или пусть одна из использованных в выражении констант будет вещественной:
((n - 1.0) * (n - 1)) / n.
