Какие инструменты используют хостинги для разделения пространства?
Полагаю из заголовка суть вопроса становится прозрачной - при помощи каких инструментов хостинги создают разделяемое пространство на одной физической машине?
Виртуальные машины, если да, то какие, докер, или иные проприетарные технологии?
И хотелось бы услышать, как можно организовать аналогичную среду свободным ПО.
Для передачи третьим лицам лучше всего подходит виртуализация на уровне железа (KVM/Hyper-V/VMware).
Для контейнеров, только OpenVZ. На LXC/LXD будете сильно ограничены. Docker вообще не про это.
Для одного сервера пойдет ESXi - он для одного сервера бесплатный (ну то есть он и для десятка хостов будет бесплатным, только в сферу их нельзя будет обьединить).
Можно использовать KVM (qemu + libvirt) - на нем например proxmox работает