В конечном счете нашел решение. Вместо загрузки файлов использовал управление элементами audio, которые предварительно добавил на страницу. С ними так же можно работать через Web Audio API, что мне и было нужно. В итоге вместо 700 Мб процесс браузера использует только 100 Мб.