Оказывается <аудио> слабо поддерживается мобильными браузерами, но Web Audio API поддерживается "на ура". С его помощью все получилось сделать.