Нет смысла в реферере: кому надо - скачают.
нужно защитить плейлист от скачивания по прямой ссылке
Можно отдавать шифрованный линк в этом плейлисте, а
на фронте И бэке - расшифроввывать его перед тем, как отдать файл плееру.
Это будет намного лучше:
после просмотра хаотичного набора символов по прямой ссылке плей-листа мало кто захочет разбираться в js-коде.
Полностью - вообще никак не запретить, поэтому подход такой: снизить желание скачивания через простое повышение сложности.