Потому что IEEE 754
Очевидно, что при хранении чисел в двоичной системе, абсолютно точно можно хранить только те дробные числа, которые состоят из степеней двойки. Остальные числа хранятся с точностью до машинной эпсилон.
Глобальной разницы нет, оба слова означают «удалять». Но «remove» имеет альтернативный перевод «убирать», «снимать» и по сути имеет более мягкое значение, нежели «delete» — «стирать», «вычеркивать», «исключать».