Потому что RB это про физику, а задание скоростей вручную - нет.
Нормальная работа это Сила -> Ограничения -> Скорости, если ты прыгаешь через голову, то будь добр сам обрабатывать и учитывай ограничения.
Красные кресты, значит у тебя объект "вывернут на изнанку". У тебя какие-то компоненты изменяют размеры и привязку только при старте, а так они лежат поломанные.
Либо твой аниматор, тоже принимать и поддерживать токен отмены, либо используешь UniTask.WhenAny() вместе с таском ожидания закрытия и ждёш кто быстрей отработает.
Можно включить у текстуры билинейную интерполяцию. Но лучше конечно взять каждый пиксель и "разбить" его на четыре, пересчитав цвета для каждого из нового пикселя.