Решение нашлось!
Оказалось вся проблема была в CloudFlare. Если отключить SSL и https редирект, все прекрасно работает на любом устройстве, но тк лишаться плюшек CF совсем не хочется, я нашел элегантный, по моему мнению, костыль.
Решение сводится к созданию поддомена. Настроив поддомен в nginx идентично основному, его можно также проксировать через CF, но правила "Page Rules" в отношении https на него распространяться не будут, поэтому через него можно смело отдавать аудиофайлы. Главное при обращении указывать именно http, а не https.