Предполагал, что NAS - это какой-то линукс, поверх которого стоит софт с веб-интерфейсом
Ну да, именно так и есть. Вот, например:
root@Syn_Prog_Backup:/opt/etc/init.d$ uname -a
Linux Syn_Prog_Backup 4.4.59+ #25426 SMP PREEMPT Mon Dec 14 18:48:05 CST 2020 x86_64 GNU/Linux synology_denverton_rs820+
Псоледняя из наших полок, скромненькая, под конкретную задачу.
Сейчас не совсем понимаю, насколько этот линукс там закрыт и насколько сложно легально получить рут
Ни на сколько. Рут есть сразу, логин root, пароль юзера admin, либо логин любым админом и sudo (в терминале ессно). В консоли работать можно, после некоторого махания пилой - поставить entware/optware и нужные программы. Системные демоны трогать не рекомендуется - в особенности ssh и snmp - пусть системный ssh висит на порту 2222 - туда все равно не попасть никому, кроме группы administrators, к тому же он убог невыносимо. А snmp системный нужен для рисования графика загрузки в вебморде.
Или могу я сам поставить какой-нить виртуалбокс/vmware и запустить простую виртуалку внутри?
можно хренологию сделать (xpenology). Это типа пиратский эмулятор synology в виртуалке (официально такие финты ушами не поддерживаются)