public float maxVelocityChange = 10f;
У вас скорость меняется на это значение.
Просто придумайте алгоритм, чтобы менять значение переменной. Например если направление не изменилось, увеличиваете на 0.5, если изменилось, то сбрасываем на 10f.
Плюс может быть какой-то лимит добавить.