Так не делают, если хотят сэкономить:
Во первых - локальный свой диск дешевле и быстрее какого-то сервера в интернете.
Во вторых - если уж хочется хранить гигабайты, то их не на VPS/VDS хранят. А на специализированных облачных хранилищах.
На S3, например. А на VPS/VDS только логику хранят.
В третьих - есть и специальные бэкап-хранилища - Amazon Gacier, например. Это уже около минимальные цены. Но даже на нем хранение 2 терабайтов полностью будет стоить вам долларов 14-15 в месяц.
В четверных - не хочешь, чтобы твои файлы кто-то гипотетически мог просмотреть - используй шифрование.
В ту же VPS/VDS админы хостинга могут запросто залезь, более того, ты им даже иногда будешь такие задачи ставить сам.