Добавьте там где Вы впервые запускаете трек, переменную bool, и если она не равна True(Музыка не запущена), то запускайте музыку, если нет то не запускайите
Пример:
private bool _musicIsLoad = false;
private void Start()
{
if (!_musicIsLoad)
{
//тут код по которому Вы запускаете музыку
_musicIsLoad = true;
}
}