Если исходная система гладкая, то будет в некоторой (малой) окрестности точки линеаризации. Проверьте, что, возможно, входом наблюдателя должны быть не выход объекта и управление, а их отклонение от точки линеаризации, так как линеаризованная система строится обычно в отклонениях.