Проблема в key. У вас используется индекс и он конечно съезжает при вырезании элементов посередине. Почитайте про то, для чего он нужен и как работает в документации по реакту.
Решение: храните в state не компоненты а какие нибудь уникальные числа для каждого аудио инпута, используйте эти уникальные числа в качестве key