Я понял из-за чего так получилось, если допустим terrain Y=0 и sphere y=0, то у sphere есть такое свойство как Scale, и как я понял это пустое пространство между terrain и sphere равен Scale - z. Если Z поставить 0.01, то расстояние между terrain и sphere будет равно 0.01, но тогда sphere не сферой будет, а лепёшкой :D
Это грубое решение, а как найти решение чтобы расстояние между terrain и sphere не реагировало на Scale я так и не нашёл.