Если на сцене есть какие-то ссылки на объекты вне сцены, то при загрузке сцены все они попадают в память. Ресурсы вам не сильно помогут, они точно так же убьют вам приложение. Вам надо стримить видео напрямую с диска, например, из папки StreamingAssets. Подробности есть в
документации.