osada

Как ранее тут написали BBB (https://bigbluebutton.org/) одно из самых доступных решений для вашего вопроса.

Потребляет ресурсы только неплохо, как и любая система ВКС. А в остальном очень даже неплохой продукт.

Как вариант использовать Rsnapshot. Со стороны Windows придется немного повозиться, но само решение работает стабильно.

Для начала, чтобы понять проблема в Убунту или это аппаратная часть - есть ли возможность установить другой Линукс или Windows Server и проверить какой объем ОЗУ там отображается?

Debian как одна из самых лучших альтернатив. Очень стабильная система, готова обработать большие нагрузки. Тщательно тестируется каждый релиз перед выходом.
PosgreSQL + Apache работает годами без проблем.

Ubuntu как альтернатива, только слишком часто обновляется целыми пакетами (два раза в год). Такие обновления не всегда будут уместны, если вам нужна стабильность прежде всего, а не новые фичи.

Proxmox неплох в реализации роли даже не одиночного сервера, а на уровне кластера.