Так получается потому что не каждое число, представимое конечной десятичной дробью, представимо конечной двоичной дробью. Погрешность получается тогда, когда эту бесконечную двоичную дробь сохраняют в мантиссе конечной длины.
Например, 0.3_10 = 0.010011001100110011..._2 = 0.01(0011)_2 — бесконечная периодическая двоичная дробь.
0.0100110011001100110011_2 = 0.2999999523162841796875_10