Сделал родителя для всех частей тела и костей, повесил на него скрипт и rigid body, а нужный коллайдер приделал к нужной части тела. Теперь двигается норм, коллайдер не отваливается. Мб кому-то поможет. Если ты читаешь это, обернись, оно за твоей спиной