Медленно, но не по скорости, а по latency (времени отклика).
У infiniband среднее RTT 5 микросекунд (это 5/1000000 секунды), у оперативной памяти счет идет на наносекунды (обычно меньше десятка) - это 1/1,000.000.000 секунды.
Т.е. разница в примерно тысячу раз по скорости доступа.
При том у кэша процессора latency ещё меньше.
Ну это опуская вопросы об отсутствии публично доступного софта, который позволяет растянуть систему (тем более windows, никсы-то худо бедно растянуть можно, хоть и работать медленно будет) прозрачно на 2 железки.