1. У вас неправильная формула корней.
2. Хотелось бы узнать, чему равны a, b, c.
3. Зачем вы округляете?
4. Собственно причина ошибки. Думаю, у вас отрицательное d, sqrt(d) = NaN (не-число), и ваша реализация Паскаля вот так поступает, когда нужно округлить NaN.