Ну тут определяет необходимая вам пропускная способность. 10gb Ethernet сейчас относительно дешёвый, почти по цене 1gb, 40gb уже дороже.
Тут люди пишут что 56gb Infiniband им вышел дешевле чем Ethernet.
Да и карты у Mellanox последнего поколения идут гибридные с Ethernet и Infiniband одновременно.
Так то у меня небольшой кластер (mariadb galera/glusterfs) из 4 серверов вполне себе живёт на 1гбит без проблем. Сейчас мигрируем на 10гбит из-за виртуализации, уж очень узким местом становится 1гбит при миграции машины на другой сервер