Качать архив с неизвестным содержимым? No.
А так, вангану. У вас сильно большая скорость объектов. Физика работает в FixedUpdate, и может банально не успеть детекнуть коллизию. Или уменьшайте скорость, или увеличьте частоту FixedUpdate, или не используйте физику.