Без коммутаторов конечно можно, только будет гадость, сами то сервера мы друг с другом соединим, а-б-с-а, как раз по два коннекта в каждый сервер. Только как к этому кластеру снаружи подключаться?!
Ставьте два коммутатора, один на кластернную сеть, второй на внешнюю, каждый сервер одним адаптером в один коммутатор, вторым - во второй. А еще лучше - добавьте 10ge адаптеры для кластера., а на остальных интерфейсах сделайте бондинг.
Что касается glusterfs, то странная она, очень, ушли с него... Мы ceph rbd используем, установка не исльно сложнее гластера, а все остальное гораздо лучше. Один минус, не нужно на нодах мапировать rbd девайсы, работайте через librbd напрямую, или через kvm например. Если уж нужно подключить rbd как блочное устройство, делайте это с клиентов извне кластера!
