Если проблема только с прыжком, то тебе нужно только присвоить отдельный к земле тэг и проверять коллизию только по тэгу - тогда от стен и потолка отпрыгивать не будет.
if (collision.gameObject.CompareTag("Твой тэг земли")) {...}