Вы можете добавить Rigidbody, но отключить у него гравитацию - тогда объект и падать вниз не будет, а нормально перемещаться, и с коллайдерами мучится не придется. Только не очень правильно будут работать физические функции вроде AddForce, придется еще ему как-то заблокировать вращение через код - т. к. объект будет считаться в невесомости, при столкновении с другими объектами он будет вращаться. Я добавлял в Update:
transform.rotation = Quaternion.Euler(0, 0, 0);